О развитии статистики объектов нечисловой природы Текст научной статьи по специальности «Математика»

УДК 519.2:303.732.4

UDC 519.2:303.732.4

О РАЗВИТИИ СТАТИСТИКИ ОБЪЕКТОВ НЕЧИСЛОВОЙ ПРИРОДЫ

Орлов Александр Иванович д.э.н., д.т.н., к.ф.-м.н., профессор

Московский государственный технический университет нм. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5, prof-orlov(cümail.ru

Около тридцати пяти лет назад статистика объектов нечисловой природы была выделена как самостоятельная область математической статистики. Статья посвящена анализу основных идей в этой области и соответствующих публикаций на фоне развития прикладной статистики и в связи с системной нечеткой интервальной математикой

Ключевые слова: МАТЕМАТИЧЕСКАЯ СТАТИСТИКА, ОБЪЕКТЫ НЕЧИСЛОВОЙ ПРИРОДЫ, НЕ ПАР AME ТРИК А, РОБАСТНОСТЬ, БУТСТРЕП, СТАТИСТИКА ИНТЕРВАЛЬНЫХ ДАННЫХ, СТАТИСТИКА НЕЧИСЛОВЫХ ДАННЫХ

ABOUT THE DEVELOPMENT OF THE STATISTICS OF NONNUMERICAL OBJECTS

Orlov Alexander Ivanovich

Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci.,

professor

Bauman Moscow State Technical University, Moscow, Russia

About thirty-five years ago, the statistics of non-numerical objects was highlighted as an independent field of mathematical statistics. This article analyzes the basic ideas in this area, and relevant publications on the background of the development of applied statistics, and in connection with the system fuzzy interval mathematics

Keywords: MATHEMATICAL STATISTICS, NONNUMERICAL OBJECTS, NONPARAMETRICS, ROBUST STATISTICS, BOOTSTRAP, INTERVAL DATA STATISTICS, NONNUMERICAL DATA STATISTICS

Термин «статистика объектов нечисловой природы впервые появился в 1979 г. в монографии [1]. В том же году в статье [2] была развернута программа построения этой новой области статистических методов. В следующем году появилась коллективная обобщающая статья на эту тему [3]. Обсудим содержание, развитие и основные идеи статистики объектов нечисловой природы.

1. Послевоенное развитие отечественной статистики

К 60-м годам XX в. в нашей стране сформировалась научно-практическая дисциплина, которую называем классической математической статистикой. Статистики учились теории по книге Г. Крамера [4], написанной в военные годы и впервые изданной у нас в 1948 г. Из прикладных руководств назовем учебник [5] и таблицы с комментариями [6].

Затем внимание многих специалистов сосредоточилось на изучении математических конструкций, используемых в статистике. Примером таких работ является монография [7]. В ней получены продвинутые математические результаты,

но трудно выделить рекомендации для статистика, анализирующего конкретные данные.

Как реакция на уход в математику выделилась новая научная дисциплина -прикладная статистика. В учебнике [8] в качестве рубежа, когда это стало очевидным, мы указали 1981 г. - дату выхода массовым тиражом (33 940 экз.) сборника [9], в названии которого использован термин «прикладная статистика». С этого времени линии развития математической статистики и прикладной статистики разошлись. Первая из этих дисциплин полностью ушла в математику, перестав интересоваться практическими делами. Вторая позиционировала себя в качестве науки об обработке данных - результатов наблюдений, измерений, испытаний, анализов, опытов.

Вполне естественно, что в прикладной статистике стали развиваться математические методы и модели. Необходимость их развития вытекает из потребностей конкретных прикладных исследований. Это математизированное ядро прикладной статистики хочется назвать теоретической статистикой. Тогда под собственно прикладной статистикой следует понимать обширную промежуточную область между теоретической статистикой и применением статистических методов в конкретных областях. В нее входят, в частности, вопросы формирования вероятностно-статистических моделей и выбора конкретных методов анализа данных (т.е. методология прикладной статистики и других статистических методов), проблемы разработки и применения информационных статистических технологий, организации сбора и анализа данных, т.е. разработки статистических технологий.

Таким образом, общая схема современной статистической науки выглядит следующим образом (от абстрактного к конкретному):

1. Математическая статистика - часть математики, изучающая статистические структуры. Сама по себе не дает рецептов анализа статистических данных, однако разрабатывает методы, полезные для использования в теоретической статистике.

2. Теоретическая статистика - наука, посвященная моделям и методам анализа

конкретных статистических данных.

3. Прикладная статистика (в узком смысле) посвящена статистическим технологиям сбора и обработки данных. Она включает в себя методологию статистических методов, вопросы организации выборочных исследований, разработки статистических технологий, создания и использования статистических программных продуктов.

4. Применение статистических методов в конкретных областях (в экономике и менеджменте - эконометрика, в биологии - биометрика, в химии - хемометрия, в технических исследованиях - технометрика, в геологии, демографии, социологии, медицине, истории, и т.д.).

Часто позиции 2 и 3 вместе называют прикладной статистикой. Иногда позицию 1 именуют теоретической статистикой. Эти терминологические расхождения связаны с тем, что описанное выше развитие рассматриваемой научно-прикладной области не сразу, не полностью и не всегда адекватно

отражается в сознании специалистов. Так, до сих пор выпускают учебники,

соответствующие уровню представлений середины XX века.

Примечание. Здесь мы уточнили схему внутреннего деления статистической теории, предложенную в [10]. Естественный смысл приобрели термины

«теоретическая статистика» и «прикладная статистика» (в узком смысле). Однако необходимо иметь в виду, что в недавнем учебнике [8] прикладная статистика понимается в широком смысле, т.е. как объединение позиций 2 и 3. К сожалению, в настоящее время невозможно отождествить теоретическую статистику с математической, поскольку последняя (как часть математики - научной специальности «теория вероятностей и математическая статистика») заметно

оторвалась от задач практики.

Отметим, что математическая статистика, как и теоретическая с прикладной, заметно отличается от ведомственной науки органов официальной государственной статистики. ЦСУ, Госкомстат, Росстат применяли и применяют лишь проверенные временем приемы позапрошлого века. Возможно, следовало бы от этого ведомства

полностью отмежеваться и сменить название дисциплины, например, на «Анализ данных». В настоящее время компромиссным самоназванием нашей научно-практической дисциплины является термин «статистические методы».

Во второй половине 80-х годов развернулось общественное движение, имеющее целью создание профессионального объединения статистиков. Аналогами являются британское Королевское статистическое общество (основано в 1834 г.) и Американская статистическая ассоциация (создана в 1839 г.). К сожалению, деятельность учрежденной в 1990 г. Всесоюзной статистической ассоциации оказалась парализованной в результате развала СССР. Некоторую активность проявили созданные на базе ВСА Российская ассоциация статистических методов, Российская академия статистических методов, Белорусская статистическая ассоциация. Пришло время оживить их деятельность.

В ходе создания ВСА было проанализировано состояние и перспективы развития теоретической и прикладной статистики. Обсудим их.

2. Новые идеи последних десятилетий: точки роста

В работе [11] выделено пять актуальных направлений, в которых развивается современная прикладная статистика, т.е. пять «точек роста» статистической науки: непараметрика, робастность, бутстреп, интервальная статистика, статистика объектов нечисловой природы. Кратко обсудим эти актуальные направления.

Непараметрика, или непараметрическая статистика [12], позволяет делать статистические выводы, оценивать характеристики и плотность распределения, проверять статистические гипотезы без слабо обоснованных предположений о том, что функция распределения элементов выборки входит в то или иное параметрическое семейство. Например, широко распространена вера в то, что статистические данные часто подчиняются нормальному распределению. Математики думают, что это - экспериментальный факт, установленный в прикладных исследованиях. Прикладники уверены, что математики доказали нормальность результатов наблюдений. Между тем анализ конкретных результатов

наблюдений, в частности, погрешностей измерений, приводит всегда к одному и тому же выводу - в подавляющем большинстве случаев реальные распределения существенно отличаются от нормальных. На этот объективный факт обращал внимание В.В. Налимов в своей классической монографии [13]. Научная школа метролога П.В. Новицкого многочисленными экспериментами подтвердила отсутствие нормальности погрешностей измерений [14]. Опубликованная в «Заводской лаборатории» сводка [15] включена в учебники [8, 16]. В [17] установлено, что по выборкам объемов 6-50, как правило, не удается отличить нормальное распределение от других видов распределений.

Некритическое использование гипотезы нормальности часто приводит к значительным ошибкам, например, при отбраковке резко выделяющихся результатов наблюдений (выбросов), при статистическом контроле качества и в других случаях [8]. Поэтому целесообразно использовать непараметрические методы, в которых на функции распределения результатов наблюдений наложены лишь весьма слабые требования. Обычно предполагается лишь их непрерывность. К настоящему времени с помощью непараметрических методов можно решать практически тот же круг задач, что ранее решался параметрическими методами (речь идет, в частности, об оценивании характеристик распределения [18] и проверке гипотезы однородности для независимых [19 - 21] и связанных [22] выборок). Однако эта информация еще не вошла в массовое сознание. До сих пор тупиковой тематике параметрической статистики посвящены обширные разделы учебников и программных продуктов.

Основная идея работ по робастности, или устойчивости, состоит в том, что выводы, полученные на основе математических методов исследования, должны мало меняться при небольших изменениях исходных данных и малых отклонениях от предпосылок модели [1]. Здесь есть два круга задач [23 - 26]. Один - это изучение устойчивости распространенных алгоритмов анализа данных. Второй - поиск робастных алгоритмов для решения тех или иных задач. Отметим, что сам по себе термин «робастность» не имеет точно определенного смысла. Всегда необходимо

указывать конкретную вероятностно-статистическую модель. При этом модель «засорения» Тьюки-Хубера-Хампеля обычно не является практически полезной. Дело в том, что она ориентирована на «утяжеление хвостов», а в реальных ситуациях «хвосты» обрезаются априорными ограничениями на результаты наблюдений, связанными, например, с ограниченностью шкал используемых средств измерения.

Бутстреп - направление непараметрической статистики, опирающееся на интенсивное использование информационных технологий [27]. Основная идея состоит в «размножении выборок», т.е. в получении набора из многих выборок, напоминающих полученную в эксперименте. По такому набору можно оценить свойства различных статистических процедур, не прибегая к излишне обременительным семействам вероятностно-статистических моделей. Простейший способ «размножении выборки» состоит в исключении из нее одного результата наблюдения. Исключаем первое наблюдение, получаем выборку, похожую на исходную, но с объемом, уменьшенным на 1. Затем возвращаем исключенный результат первого наблюдения, но исключаем второе наблюдение. Получаем вторую выборку, похожую на исходную. Затем возвращаем результат второго наблюдения, и т.д. Есть и иные способы «размножения выборок». Например, можно по исходной выборке построить ту или иную оценку функции распределения, а затем методом статистических испытаний смоделировать ряд выборок из элементов, функция распределения которых совпадает с этой оценкой. Обобщая, можно сказать, что к настоящему времени в дополнение к классическим инструментам прикладной статистики - предельным теоремам теории вероятностей - добавились новые, основанный на интенсивном использовании компьютеров. Бутстреп - лишь один из таких инструментов. Метод статистических испытаний (Монте-Карло) - партнер и конкурент асимптотическим методам математической статистики [28].

Интервальная статистика - это совокупность методов анализа интервальных статистических данных. Вполне очевидно, что все средства измерения имеют

погрешности. Однако до недавнего времени это очевидное обстоятельство никак не учитывалось в статистических процедурах. Только недавно начала развиваться теория интервальной статистики, в которой предполагается, что исходные данные -это не числа, а интервалы. Интервальную статистику можно рассматривать как часть интервальной математики. Выводы в ней часто принципиально отличны от классических.

Различным подходам к анализу интервальных данных посвящена дискуссия [29]. В научной школе А.П. Вощинина изучены проблемы регрессионного анализа, планирования эксперимента, сравнения альтернатив и принятия решений в условиях интервальной неопределенности [30-35]. В асимптотической статистике интервальных данных на значения случайных величин наложены малые интервальные неопределенности [36]. Основные результаты этого направления подробно изложены в учебниках [8, 37, 38]. Разрабатывались и иные подходы [39].

3. Статистика объектов нечисловой природы

Перейдем непосредственно к статистике объектов нечисловой природы (она же - статистика нечисловых данных, или нечисловая статистика). Типичный исходный объект в прикладной статистике - это выборка, т.е. совокупность независимых одинаково распределенных случайных элементов. Какова природа этих элементов? В классической математической статистике элементы выборки -это числа. В многомерном статистическом анализе - вектора. А в нечисловой статистике элементы выборки - это объекты нечисловой природы, которые нельзя складывать и умножать на числа. Другими словами, объекты нечисловой природы лежат в пространствах, не имеющих векторной структуры.

Примерами объектов нечисловой природы являются:

- значения качественных признаков, в том числе результаты кодировки объектов с помощью заданного перечня категорий (градаций);

- упорядочения (ранжировки) экспертами образцов продукции (при оценке её технического уровня, качества и конкурентоспособности)) или заявок на

проведение научных работ (при проведении конкурсов на выделение грантов);

- классификации, т.е. разбиения объектов на группы сходных между собой (кластеры);

- толерантности, т.е. бинарные отношения, описывающие сходство объектов между собой, например, сходства тематики научных работ, оцениваемого экспертами с целью рационального формирования экспертных советов внутри определенной области науки;

- результаты парных сравнений или контроля качества продукции по альтернативному признаку («годен» - «брак»), т.е. последовательности из 0 и 1;

- множества (обычные или нечеткие), например, зоны, пораженные коррозией, или перечни возможных причин аварии, составленные экспертами независимо друг от друга;

- слова, предложения, тексты;

- вектора, координаты которых - совокупность значений разнотипных признаков, например, результат составления статистического отчета о научно-технической деятельности организации или анкета эксперта, в которой ответы на часть вопросов носят качественный характер, а на часть -количественный;

- ответы на вопросы экспертной, медицинской, маркетинговой или социологической анкеты, часть из которых носит количественный характер (возможно, интервальный), часть сводится к выбору одной из нескольких подсказок, а часть представляет собой тексты; и т.д.

Рассмотренные выше интервальные данные тоже можно рассматривать как пример объектов нечисловой природы, а именно, как частный случай нечетких множеств. Если характеристическая функция нечеткого множества равна 1 на некотором интервале и равна 0 вне этого интервала, то задание такого нечеткого множества эквивалентно заданию интервала. С методологической точки зрения важно, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств. Цикл соответствующих теорем приведен в монографии [1], а

Научный журнал КубГАУ, №93(09), 2013 года также в учебниках [8, 16, 37, 38].

С 70-х годов в основном на основе запросов теории экспертных оценок (а также технических исследований, экономики, социологии и медицины) развивались различные направления статистики объектов нечисловой природы. Были установлены основные связи между конкретными видами таких объектов, разработаны для них базовые вероятностные модели. Сводка дана в монографии [1], препринте [40].

Следующий этап (80-е годы) - выделение статистики объектов нечисловой природы в качестве самостоятельной дисциплины в рамках математических методов исследования, ядром которого являются методы статистического анализа данных произвольной природы. Для работ этого периода характерна сосредоточенность на внутренних проблемах нечисловой статистики. Проводились всесоюзные конференции [41, 42], выпускались монографии [43-48], сборники трудов [49-51], защищались диссертации [52-58]. Наиболее представительным является сборник [59], подготовленный совместно комиссией «Статистика объектов нечисловой природы» Научного Совета АН СССР по комплексной проблеме «Кибернетика» и Институтом социологических исследований АН СССР.

К 90-м годам статистика объектов нечисловой природы с теоретической точки зрения была достаточно хорошо развита, основные идеи, подходы и методы были разработаны и изучены математически, в частности, доказано достаточно много теорем. Однако она оставалась недостаточно апробированной на практике. И в 90-е годы наступило время перейти от теоретико-статистических исследований к применению полученных результатов на практике и включить их в учебный процесс, что и было сделано (см., например, [8, 16, 37, 38]). В 90-е годы опубликованы обзоры [60-62] по статистике объектов нечисловой природы и многочисленные конкретные исследования, к рассмотрению которых и переходим.

4. Основные идеи и направления статистики объектов нечисловой природы

В чем принципиальная новизна нечисловой статистики? Для классической

математической статистики характерна операция сложения. При расчете выборочных характеристик распределения (выборочное среднее арифметическое, выборочная дисперсия и др.), в регрессионном анализе и других областях этой научной дисциплины постоянно используются суммы. Математический аппарат -законы больших чисел, Центральная предельная теорема и другие теоремы -нацелены на изучение сумм. В нечисловой же статистике нельзя использовать операцию сложения, поскольку элементы выборки лежат в пространствах, где нет операции сложения. Методы обработки нечисловых данных основаны на принципиально ином математическом аппарате - на применении различных расстояний в пространствах объектов нечисловой природы.

Следует отметить, что в статистике объектов нечисловой природы одна и та же математическая схема может с успехом применяться во многих прикладных областях, для анализа данных различных типов, а потому ее лучше всего формулировать и изучать в наиболее общем виде, для объектов произвольной природы.

Кратко рассмотрим несколько идей, развиваемых в статистике объектов нечисловой природы для данных, лежащих в пространствах произвольного вида. Они нацелены на решение классических задач описания данных, оценивания, проверки гипотез - но для неклассических данных, а потому неклассическими методами.

Первой обсудим проблему определения средних величин. В рамках теории измерений удается указать вид средних величин, соответствующих тем или иным шкалам измерения. Теория измерений [1, 63, 64], в середине XX в.

рассматривавшаяся как часть математического обеспечения психологии, к настоящему времени признана общенаучной дисциплиной. Современные достижения рассмотрены в статьях [65-68].

В классической математической статистике средние величины вводят с помощью операций сложения (выборочное среднее арифметическое, математическое ожидание) или упорядочения (выборочная и теоретическая

медианы). В пространствах произвольной природы средние значения нельзя определить с помощью операций сложения или упорядочения. Теоретические и эмпирические средние приходится вводить как решения экстремальных задач. Теоретическое среднее определяется как решение задачи минимизации математического ожидания (в классическом смысле) расстояния от случайного элемента со значениями в рассматриваемом пространстве до фиксированной точки этого пространства (минимизируется указанная функция от этой точки). Для получения эмпирического среднего математическое ожидание берется по эмпирическому распределению, т.е. берется сумма расстояний от некоторой точки до элементов выборки и затем минимизируется по этой точке (примером является медиана Кемени [69]). При этом как эмпирическое, так и теоретическое средние как решения экстремальных задач могут быть не единственными элементами рассматриваемого пространства, а являться некоторыми множествами таких элементов, которые могут оказаться и пустыми. Тем не менее удалось сформулировать и доказать законы больших чисел для средних величин, определенных указанным образом, т.е. установить сходимость (в специально определенном смысле) эмпирических средних к теоретическим [8, 16].

Оказалось, что методы доказательства законов больших чисел допускают существенно более широкую область применения, чем та, для которой они были разработаны. А именно, удалось изучить асимптотику решений экстремальных статистических задач, к которым, как известно, сводится большинство постановок прикладной статистики. В частности, кроме законов больших чисел установлена и состоятельность оценок минимального контраста, в том числе оценок максимального правдоподобия и робастных оценок. К настоящему времени подобные оценки изучены также и в интервальной статистике. Полученные результаты относительно асимптотики решений экстремальных статистических задач применяются в работах [70-72].

В статистике в пространствах произвольной природы большую роль играют непараметрические оценки плотности, используемые, в частности, в различных

алгоритмах регрессионного, дискриминантного, кластерного анализов. В нечисловой статистике предложен и изучен ряд типов непараметрических оценок плотности в пространствах произвольной природы, в том числе в дискретных пространствах [73-75]. В частности, доказана их состоятельность, изучена скорость сходимости и установлен (для ядерных оценок плотности) примечательный факт совпадения наилучшей скорости сходимости в произвольном пространстве с той, которая имеет быть в классической теории для числовых случайных величин [74].

Дискриминантный, кластерный, регрессионный анализы в пространствах произвольной природы основаны либо на параметрической теории - и тогда применяется подход, связанный с асимптотикой решения экстремальных статистических задач - либо на непараметрической теории - и тогда используются алгоритмы на основе непараметрических оценок плотности.

Для анализа нечисловых, в частности, экспертных данных весьма важны методы классификации [76 - 82]. Интересно движение мысли в другом направлении

- наиболее естественно ставить и решать задачи классификации, основанные на использовании расстояний или показателей различия, именно в рамках статистики объектов нечисловой природы (а не, скажем, многомерного статистического анализа). Это касается как распознавания образов с учителем (другими словами, дискриминантного анализа), так и распознавания образов без учителя (т.е. кластерного анализа). Аналогичным образом задачи многомерного шкалирования, т.е. визуализации данных [46, 47, 83], также естественно отнести к статистике объектов нечисловой природы.

Для проверки гипотез в пространствах нечисловой природы могут быть использованы статистики интегрального типа, в частности, типа омега-квадрат [2, 21, 22]. Любопытно, что предельная теория таких статистик, построенная первоначально в классической постановке, приобрела естественный (завершенный, изящный) вид именно для пространств произвольного вида [84], поскольку при этом удалось провести рассуждения, опираясь на базовые математические соотношения, а не на те частные (с общей точки зрения), что были связаны с

конечномерным пространством.

Представляют практический интерес результаты, связанные с конкретными областями статистики объектов нечисловой природы, в частности, со статистикой нечетких множеств [85] и со статистикой случайных множеств (напомним, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств), с непараметрической теорией парных сравнений и люсианов (бернуллиевских бинарных векторов), с аксиоматическим введением метрик в конкретных пространствах объектов нечисловой природы, а также с рядом других конкретных постановок. Отметим бурный рост интереса со стороны прикладников к математическому аппарату теории нечеткости [86-90].

Результаты контроля штучной продукции по альтернативному признаку представляют собой последовательности из 0 и 1 - объекты нечисловой природы, а потому теорию статистического контроля относят к нечисловой статистике [20-22]. В «Заводской лаборатории» постоянно публикуются работы по этой тематике, предназначенные для специалистов по статистическим методам управления качеством продукции [81, 91 - 95].

При статистическом анализе нечисловых данных возникает необходимость оценивать параметры модели. Вместо метода максимального правдоподобия целесообразно применять метод одношаговых оценок [96, 97].

Ведется разработка новых методов анализа конкретных видов нечисловых данных. Так, С.А. Смоляк рассматривает проблему восстановления функции многих переменных по ее точным или приближенным значениям в отдельных точках. Для функций числовых переменных — это обычная задача интерполяции, однако он решает задачу восстановления функции от номинальных или порядковых переменных и предлагает эвристические методы, основанные на формализации дискретного аналога понятия «гладкости» функции [98, 99]. А.Н. Горбач и Н.А. Цейтлин на основе практических потребностей обосновывают необходимость построения статистической теории спонтанных последовательностей, вводят расстояния между ними [100] и разрабатывают методы анализа этого нового вида

объектов нечисловой природы [101]. Бурно развивается раздел нечисловой статистики, посвященный организационным структурам [102 - 108].

Статистика объектов нечисловой природы порождена потребностями практики, прежде всего в области экспертных оценок. Вполне естественно, что названия сборников трудов неформального научного коллектива, развивающего нечисловую статистику, начинались со слов «Экспертные оценки» [109 - 112]. Различным вопросам теории и практики экспертных оценок посвящен ряд монографий, подготовленных членами нашего научного коллектива [113 - 120]. Научные результаты последних лет постоянно публикуются в журналах «Заводская лаборатория» [121 - 129] и «Автоматика и телемеханика» [130 - 132].

Экспертные методы, как и статистические, активно используются при прогнозировании. Тематике прогнозирования наш «незримый коллектив» уделяет значительное место [133 - 135].

Непараметрическая статистика - это прежде всего ранговая статистика, т.е. основанная на рангах - номерах элементов выборок в вариационных рядах. Ранги измерены в порядковых шкалах, а значения ранговых статистик инвариантны относительно любых строго возрастающих преобразований - допустимых преобразований в таких шкалах. Это означает, что существенную часть непараметрической статистики [6, 136, 137] можно включить в нечисловую статистику. Тем более это касается статистики интервальных данных, изучающей методы анализа нечисловых данных конкретного вида - интервалов. В [38] она включена в нечисловую статистику. Однако в настоящей статье мы предпочли рассмотреть непараметрику, статистику интервальных данных и нечисловую статистику по отдельности. В частности, потому, что статистика в пространствах произвольной природы является центральной областью только для последнего из трех рассмотренных здесь направлений прикладной статистики.

Вопросы внедрения математических методов исследования всегда были в центре внимания нашего раздела «Математические методы исследования» журнала «Заводская лаборатория» [91, 138, 139]. Подчеркивалось большое теоретическое и

прикладное значение статистики объектов нечисловой природы [140], необходимость перехода от отдельных методов анализа данных к разработке высоких статистических технологий [141] и использования современных систем внедрения математических методов, таких как система «Шесть сигм» и ее аналоги [142]. Обсуждались проблемы программного обеспечения [143-145]. Однако приходится констатировать, что создание линейки современных программных продуктов по нечисловой статистике - пока дело будущего.

5. О некоторых нерешенных проблемах нечисловой статистики

За каждым новым научным результатом открывается многообразие неизвестного. Рассмотрим несколько конкретных постановок.

В статистике в пространствах общей природы получены аналоги классического закона больших чисел. Но нет аналога центральной предельной теоремы. Какова скорость сходимости эмпирических средних к теоретическим? Как сравнить различные способы усреднения? В частности, что лучше применять для усреднения упорядочений - медиану Кемени или среднее по Кемени (среднее отличается от медианы тем, что в качестве показателя различия берется не расстояние Кемени, а его квадрат)? Какие конкретные представители различных классов непараметрических оценок плотности достойны рекомендации для использования в нацеленных на практическое применение алгоритмах и программных продуктах анализа нечисловых данных?

До сих пор не проведена полная классификация классических статистических методов с точки зрения теории измерений. Законченные результаты получены только для теории средних [8, 16, 37]. Установлено, что для измерений в порядковой шкале в качестве средних можно использовать только порядковые статистики, например, медиану (при нечетном объеме выборки). Среднее арифметическое применять нельзя. Однако многочисленные эксперименты показывают, что упорядочения объектов по средним арифметическим рангов и по медианам рангов в подавляющем большинстве случаев совпадают или близки.

Нужна теория, объясняющая этот экспериментальный факт.

Все более широкое распространение получает теория нечеткости. Давно установлено, что она в определенном смысле сводится к теории случайных множеств [8, 16, 37]. Требуется на основе этого сведения проанализировать различные теоретические и прикладные постановки теории нечеткости и рассмотреть их в рамках вероятностно-статистического моделирования.

Перейдем к классическим областям статистики. Начнем с обсуждения влияния отклонений от традиционных предпосылок. В вероятностной теории статистических методов выборка обычно моделируется как конечная последовательность независимых одинаково распределенных случайных величин или векторов. В парадигме середины XX в. часто предполагают, что эти величины (вектора) имеют нормальное распределение.

При внимательном взгляде совершенно ясна нереалистичность приведенных классических предпосылок. Независимость результатов измерений обычно принимается «из общих предположений», между тем во многих случаях очевидна их коррелированность. Одинаковая распределенность также вызывает сомнения из-за изменения во времени свойств измеряемых образцов, средств измерения и психофизического состояния специалистов, проводящих измерения (испытания, анализы, опыты). Даже обоснованность самого применения вероятностных моделей иногда вызывает сомнения, например, при моделировании уникальных измерений (согласно классическим воззрениям, теорию вероятностей обычно привлекают при изучении массовых явлений). И уж совсем редко распределения результатов измерений можно считать нормальными [8, 16].

Итак, методы классической математической статистики обычно используют вне сферы их обоснованной применимости. Какова влияние отклонений от традиционных предпосылок на статистические выводы? В настоящее время об этом имеются лишь отрывочные сведения. Приведем три примера.

Пример 1. Построение доверительного интервала для математического ожидания обычно проводят с использованием распределения Стьюдента (при

справедливости гипотезы нормальности). Как следует их Центральной предельной теоремы (ЦТТТ) теории вероятностей, в асимптотике (при большом объеме выборки) такие расчетные методы дают правильные результаты (из ЦПТ вытекает использование квантилей нормального распределения, а из классической теории -квантилей распределения Стьюдента, но при росте объема выборки квантили распределения Стьюдента стремятся к соответствующим квантилям нормального распределения).

Пример 2. Для проверки однородности двух независимых выборок (на самом деле - для проверки равенства математических ожиданий) обычно рекомендуют использовать двухвыборочный критерий Стьюдента. Предпосылки его использования - это нормальность распределений, соответствующих выборкам, и равенство их дисперсий. Что будет при отклонении от нормальности распределений, из которых взяты выборки, от нормальности? Если объемы выборок равны или если дисперсии совпадают, то в асимптотике (когда объемы выборок безгранично возрастают) классический метод является корректным. Если же объемы выборок существенно отличаются или дисперсии различны, то критерий Стьюдента проверки гипотезы однородности применять нельзя, поскольку распределение двухвыборочной статистики Стьюдента будет существенно отличаться от классического. Поскольку проверка равенства дисперсий - более сложная задача, чем проверка равенства математических ожиданий, то для выборок разного объема использовать двухвыборочную статистику Стьюдента не следует, целесообразно применять критерий Крамера-Уэлча [8, 16, 21].

Пример 3. В задаче отбраковки (исключения) резко выделяющихся наблюдений (выбросов) расчетные методы, основанные на нормальности, являются крайне неустойчивыми по отношению к отклонениям от нормальности, что полностью лишает эти методы научной обоснованности [8, 16, 146].

Примеры 1-3 показывают весь спектр возможных свойств классических расчетных методов в случае отклонения от нормальности. Методы примера 1 оказываются вполне пригодными при таких отклонениях, примера 2 - пригодными в

некоторых случаях, примера 3 - полностью непригодными.

Итак, имеется необходимость изучения свойств расчетных методов классической математической статистики, опирающихся на предположение нормальности, в ситуациях, когда это предположение не выполнено. Аппаратом для такого изучения наряду с методом Монте-Карло могут послужить предельные теоремы теории вероятностей, прежде всего ЦПТ, поскольку интересующие нас расчетные методы обычно используют разнообразные суммы. Пока подобное изучение не проведено, остается неясной научная ценность, например, применения основанного на предположении многомерной нормальности факторного анализа к векторам из переменных, принимающих небольшое число градаций и к тому же измеренных в порядковой шкале.

Почему необходимо изучение классических алгоритмов, а не построение новых, специально предназначенных для работы в условиях отклонения от классических предпосылок?

Во-первых, потому, что классические алгоритмы в настоящее время наиболее распространены (благодаря сложившейся системе образования прикладников). Например, для проверки однородности двух независимых выборок традиционно используют критерий Стьюдента, при этом условия его применимости не проверяют. Насколько обоснованными являются выводы? Как следует из примера 2, во многих случаях выводы нет оснований подвергать сомнению, хотя они получены с помощью некорректной процедуры.

Во-вторых, более новые подходы зачастую методологически уязвимы. Так, известная робастная модель засорения Тьюки-Хубера нацелена на борьбу с большими выбросами, которые зачастую физически невозможны из-за ограниченности интервала значений измеряемой характеристики, в котором работает конкретное средство измерения. Следовательно, модель Тьюки-Хубера-Хампеля [25, 26] имеет скорее теоретическое значение, чем практическое. Сказанное, конечно, не обозначает, что следует прекратить разработку, изучение и внедрение непараметрических и устойчивых методов,

выделенных выше как «точки роста» современной прикладной статистики.

Нерешенным проблемам статистики посвящены статьи [147, 148]. Одна из важных проблем - использование асимптотических результатов при конечных объемах выборок. Конечно, естественно изучить свойства алгоритма с помощью метода Монте-Карло. Однако из какого конкретного распределения брать выборки при моделировании? От выбора распределения зависит результат. Кроме того, датчики псевдослучайных чисел лишь имитируют случайность. До сих пор неизвестно, каким датчиком целесообразно пользоваться в случае возможного безграничного роста размерности пространства.

Другая проблема - обоснование выбор одного из многих критериев для проверки конкретной гипотезы. Например, для проверки однородности двух независимых выборок можно предложить критерии Стьюдента, Крамера-Уэлча, Лорда, хи-квадрат, Вилкоксона (Манна-Уитни), Ван-дер-Вардена, Сэвиджа, Н.В.Смирнова, типа омега-квадрат (Лемана-Розенблатта), Реньи, Г.В.Мартынова и др. [19, 21]. Какой выбрать?

Критерии однородности проанализированы в [149]. Естественных подходов к сравнению критериев несколько - на основе асимптотической относительной эффективности по Бахадуру, Ходжесу-Леману, Питмену. И каждый критерий является оптимальным при соответствующей альтернативе или подходящем распределении на множестве альтернатив. При этом математические выкладки обычно используют альтернативу сдвига, сравнительно редко встречающуюся в практике анализа реальных статистических данных. Итог печален - блестящая математическая техника, продемонстрированная в [149], не позволяет дать рекомендации для выбора критерия проверки однородности при анализе реальных данных.

Проблемы разработки высоких статистических технологий поставлены в [141] (см. также одноименный сайт http://orlovs.pp.ru). Используемые при обработке реальных данных статистические технологии состоят из последовательности операций, каждая из которых, как правило, хорошо изучена, поскольку сводится к

оцениванию (параметров, характеристик, распределений) или проверке той или иной гипотезы. Однако статистические свойства результатов обработки, полученных в результате последовательного применения таких операций, мало изучены. Необходима теория, позволяющая изучать свойства статистических технологий и так их конструировать, чтобы обеспечить высокое качество обработки данных.

В заключение отметим, что развернутое описание статистики нечисловых данных дано в монографиях [8, 16, 21, 38]. При дальнейшем развитии исследований важно опираться на современную методологию [150]. Работы в области статистики объектов нечисловой природы активно продолжаются (см., например, [151, 152]). Эта область, как видно из проведенного выше анализа, имеет много общего с системной нечеткой интервальной математикой [153, 154]. Она соответствует новой парадигме математической статистики [155], более того, именно развитие статистики объектов нечисловой природы стимулировало появление новой парадигмы.

Литература

I.Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296

с.

2.Орлов А.И. Статистика объектов нечисловой природы и экспертные оценки // Экспертные оценки. Вопросы кибернетики. Вып.58. - М.: Научный Совет АН СССР по комплексной проблеме «Кибернетика», 1979. С. 17-33.

3.Тюрин Ю.Н, Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации//Заводская лаборатория. 1980. Т.46. №10. С. 931-935.

4.Крамер Г. Математические методы статистики. - М.: Мир, 1975. - 648 с.

5.Смирнов Н.В., Дунин-Барковский И.В. Курс теории вероятностей и математической статистики для технических приложений. Изд. 3-е, стереотипное. - М.: Наука, 1969. - 512 с.

6.Болыпев Л.Н, Смирнов Н.В. Таблицы математической статистики / 3-е изд.- М.: Наука, 1983.-416 с. (1-е изд. - 1965).

7.Каган А.М., Линник Ю.В., Pao С.Р. Характеризационные задачи математической статистики. - М.: Наука, 1972. - 656 с.

8.Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 672 с.

9.Современные проблемы кибернетики (прикладная статистика). - М.: Знание, 1981. - 64 с. 10.Орлов А.И. О перестройке статистической науки и её применений // Вестник статистики. 1990. №1. С.65 - 71.

II.Орлов А.И. Современная прикладная статистика // Заводская лаборатория. 1998. Т.64. №3. С. 52-60.

12.Тюрин Ю.Н. Непараметрические методы статистики. - М.: Знание, 1978. - 64 с.

13.Налимов В.В. Применение математической статистики при анализе вещества. - М.: Физматгиз, 1960. - 430 с.

14.Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. - Л.: Энергоатомиздат, 1985. -248 с.

15.Орлов А.И. Часто ли распределение результатов наблюдений является нормальным? // Заводская лаборатория. 1991. Т.57. №7. С.64-66.

16.Орлов А.И. Эконометрика. - М.: Экзамен, 2002. - 576 с.

17.Селезнев В.Д., Денисов К.С. Исследование свойств критериев согласия функции распределения данных с гауссовой методом Монте-Карло для малых выборок // Заводская лаборатория. 2005. Т.71. №1. С.68 - 73.

18.Орлов А.И. Непараметрическое точечное и интервальное оценивание характеристик распределения // Заводская лаборатория. 2004. Т.70. №5. С.65-70.

19.Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез // Заводская лаборатория. 1986. Т.52. №12. С.55-57.

20.Орлов А.И. Какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона? // Заводская лаборатория. 1999. Т.65. №1. С.51-55.

21.Орлов А.И. О проверке однородности двух независимых выборок // Заводская лаборатория. 2003. Т.69. №1. С.55-60.

22.Орлов А.И. Методы проверки однородности связанных выборок // Заводская лаборатория. 2004. Т.70. №7. С.57-61.

23.Смоляк С.А., Титаренко Б.П. Устойчивые методы оценивания: Статистическая обработка неоднородных совокупностей. - М.: Финансы и статистика, 1980.

24.Устойчивые статистические методы оценки данных. - М.: Машиностроение. 1984.

25.Хьюбер П. Робастность в статистике. - М.: Мир. 1984.

26.Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике. Подход на основе функций влияния. - М.: Мир, 1989. 512 с.

27.Орлов А.И. О реальных возможностях бутстрепа как статистического метода // Заводская лаборатория. 1987. Т.53. №10. С.82-85.

28.Орлов А.И. Методы оценки близости допредельных и предельных распределений статистик // Заводская лаборатория. 1998. Т.64. №5. С. 64-67.

29.Дискуссия по анализу интервальных данных // Заводская лаборатория. 1990. Т.56. №7. С.75-95.

30.Вощинин А.П. Метод оптимизации объектов по интервальным моделям целевой функции. - М.: МЭИ, 1987.

31.Вощинин А.П., Акматбеков Р. А. Оптимизация по регрессионным моделям и планирование эксперимента. - Бишкек: Изд-во «Илим», 1992.

32.Вощинин А.П. Метод анализа данных с интервальными ошибками в задачах проверки гипотез и оценивания параметров неявных линейно параметризованных функций // Заводская лаборатория. 2000. Т.66. №3. С.51 - 64.

33.Вощинин А.П. Интервальный анализ данных: развитие и перспективы // Заводская лаборатория. 2002. Т.68. №1. С. 118-126

34.Вощинин А.П., Бронз П.В. Построение аналитических моделей по данным вычислительного эксперимента в задачах анализа чувствительности и оценки экономических рисков // Заводская лаборатория. 2007. №1. С. 101 - 109.

35.Вощинин А.П., Скибицкий НВ. Интервальный подход к выражению неопределенности измерений и калибровке цифровых измерительных систем // Заводская лаборатория. 2007. Т.73. №11. С.66 - 71.

36.Гуськова Е.А., Орлов А.И. Интервальная линейная парная регрессия // Заводская лаборатория. 2005. Т.71. №3. С.57-63.

37.Орлов А.И. Теория принятия решений,- М.: Экзамен, 2006. - 576 с.

38.Орлов А.И. Организационно-экономическое моделирование. Часть 1. Нечисловая статистика. - М.: Изд-во МГТУ им. НЭ. Баумана, 2009. - 544 с.

39.Таранцев А.А. О связи интервального анализа с теорией вероятностей // Заводская лаборатория. 2004. Т.70. №3. С.60 - 65.

40.Тюрин Ю.Н, Литвак Б.Г., Орлов А.И, Сатаров Г. А., Шмерлинг Д.С. Анализ нечисловой информации. - М.: Научный Совет АН СССР по комплексной проблеме «Кибернетика», 1981.

41.Первое Всесоюзное совещание по статистическому и дискретному анализу нечисловой информации, экспертным оценкам и дискретной оптимизации. / Тезисы докладов. - М. -Алма-Ата: ВИНИТИ, 1981.

42.Вторая Всесоюзная конференция по анализу нечисловой информации. / Тезисы докладов. - М.: Таллин: ВИНИТИ, 1984.

43.Лбов Г.С. Методы обработки разнотипных экспериментальных данных. - Новосибирск; Наука. 1981.

44.Маамяги A.B. Некоторые задачи статистического анализа классификаций. - Таллинн; АНЭССР. 1982.

45.Миркин Б.Г. Анализ качественных признаков и структур. - М.: Статистика. 1980.

46.Перекрест В. Т. Нелинейный типологический анализ социально-экономической информации: Математические и вычислительные методы. - Л.: Наука, 1983.

47.Терехина А.Ю. Анализ данных методами многомерного шкалирования. - М.- Наука,

1986.

48.Хованов Н.В. Математические основы теории шкал измерения качества. - Л.: Изд-во ЛГУ, 1982, - 185 с.

49.Анализ нечисловых данных в системных исследованиях / Сборник трудов. - Вып. 10. -М.: ВНИИСИ, 1982.

50.Методы анализа данных, оценивания и выбора / Сборник трудов. - Вып.11. - М.: ВНИИСИ. 1984.

51.Методы анализа данных, оценивания и выбора в системных исследованиях. / Сборник трудов. Вып. 14. - М.: ВНИИСИ. 1986.

52.Орлов А.И. Разработка и исследование статистических методов моделирования и анализа объектов нечисловой природы. Дисс. в форме научного доклада докт. техн. наук. - М.: МЭИ, 1992.

53.Пярна К.А. Оптимальное разбиение метрического вероятностного пространства: Автореф. дисс. канд. физ.-мат. наук. Вильнюс, 1987.

54.Рыданова Г.В. Некоторые вопросы статистического анализа случайных бинарных векторов: Автореф. дисс. канд. физ.-мат. наук. - М.: МГУ,1988.

55.Сатаров Г.А. Многомерное шкалирования при анализе дихотомических данных о социально-экономических системах. Автореферат... канд. техн. наук. - М.: ВНИИСИ, 1985.

56.Трофимов В.А. Модели и методы качественного факторного анализа матриц связи. Автореферат... канд. техн. наук. - Новосибирск, Ин-т математики СО АН СССР, 1982.

57.Шер А.П. Исследование тестовых методов диагностики и разработка на их основе алгоритмов обработки океанологической информации для задач рыбопромыслового прогнозирования: Автореф. дисс. канд. техн. наук. - Владивосток, 1984.

58.Шмерлинг Д.С. Разработка и исследование ранговых методов анализа информации для задач упорядочения элементов сложных систем /Автореф. дисс. канд. физ.-мат. наук -М.:ВНИИСИ, 1982.

59.Андреенков В.Г., Орлов А.И., Толстова Ю.Н. (ответственные редакторы). Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. - 220 с.

60.Орлов А.И. Статистика объектов нечисловой природы // Заводская лаборатория. 1990. Т.56. №3,С.76- 83.

61.Орлов А.И. Объекты нечисловой природы // Заводская лаборатория. 1995. Т.61. №3, с.43

Научный журнал КубГАУ, №93(09), 2013 года

- 52.

62.Орлов А.И. Вероятностные модели конкретных видов объектов нечисловой природы // Заводская лаборатория. 1995. Т.61. №5, с.43 - 51.

63.Психологические измерения. Сб. статей. - М.: Мир, 1967.

64.Пфанцагль И. Теория измерений. - М.: Мир, 1976.

65.Толстова Ю.Н. Краткая история развития репрезентативной теории измерений // Заводская лаборатория. 1999. Т.65. №3. С. 49 - 56.

66.Орлов А.И. Репрезентативная теория измерений и ее применения // Заводская

лаборатория. 1999. Т.65. №3. С. 57 - 62.

67.Барский Б.В., Соколов М.В. Средние величины, инвариантные относительно

допустимых преобразований шкалы измерения / Заводская лаборатория. 2006. Т.72. №1. С.59 - 66.

68.Орлов А.И. Математические методы исследования и теория измерений // Заводская лаборатория. 2006. Т.72. №1. С.67 - 70.

69.Кемени Дж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. - М.: Советское радио, 1972. - 192 с.

70.Орлов А.И. Методы поиска наиболее информативных множеств признаков в

регрессионном анализе / Заводская лаборатория. 1995. Т.61. №1. С.56 - 58.

71.Орлов А.И. Асимптотическое поведение решений экстремальных статистических задач // Заводская лаборатория. 1996. Т.62. №10. С.45 -46.

72.Тырсин А.Н. Робастное построение линейных регрессионных моделей по

экспериментальным данным // Заводская лаборатория. 2005. Т.71. №11. С.53 - 58.

73.Богданов Ю.И. Информация Фишера и непараметрическая аппроксимация плотности распределения // Заводская лаборатория. 1998. Т.64. №7. С.56 - 61.

74.Орлов А.И. Математические методы исследования и диагностика материалов // Заводская лаборатория. 2003. Т.69. №3. С.53-64.

75.Богданов Ю.И. Метод максимального правдоподобия и корневая оценка плотности распределения // Заводская лаборатория. 2004. Т.70. №3. С.51 - 59.

76.Абусев P.A. Групповая классификация. Решающие правила и их характеристики. -Пермь: Изд-во Пермского университета, 1992.

77.Апраушева H.H. Новый подход к обнаружению кластеров. - М.: Вычислительный центр РАН, 1993.

78.Группировки и корреляции в экономико-статистических исследованиях. (Серия "Ученые записки по статистике", т.43.) - М.: Наука, 1982.

79.Мир кин Б.Г. Группировки в социально-экономических исследованиях: Методы построения и анализа. - М.: Финансы и статистика. 1985.

80.Абусев P.A. О групповом подходе в статистической классификации и контроле качества // Заводская лаборатория. 2003. Т.69. №3. С.65 - 68.

81 .Штремель М.А., Кудря A.B., Иващенко A.B. Непараметрический дискриминантный анализ в задачах управления качеством // Заводская лаборатория. 2006. Т.72. №5. С.53-62

82.Борисова И.А., Загоруйко Н.Г., Кутненко O.A. Критерии информативности и пригодности подмножества признаков, основанные на функции сходства // Заводская лаборатория. 2008. Т.74. №1. С. 68-71.

83.Лагутин М.Б. Визуальное представление тесноты связей // Заводская лаборатория. 2005. Т.71. №7. С.53 - 57.

84.Орлов А.И. Асимптотическое поведение статистик интегрального типа // Вероятностные процессы и их приложения. Межвузовский сборник научных трудов. - М.: МИЭМ, 1989. С.118-123.

85.Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. - 64 с.

86.Заде Д. Понятие лингвистической переменной и его применение к принятию приближенных решений. - М.: Мир. 1976.

87.Таранцев А.А. О возможности построения регрессионных моделей при нечеткой исходной информации // Заводская лаборатория. 1999. Т.65. №1. С.67-68.

88.Хургин Я.И. Четкие и нечеткие алгебраические средние и их использование // Заводская лаборатория. 2000. Т.66. №1. С.64-66.

89.Гермашев И.В., Дербишер В.Е., Морозенко Т.Ф., Орлова С.А. Оценка качества технических объектов с использованием нечетких множеств // Заводская лаборатория. 2001. Т.67. №1. С.65 - 68.

90.Клементьева С.В. Применение теории нечетких множеств для измерения и оценки эффективности реализации наукоемкой продуктовой инновации // Заводская лаборатория. 2006. Т.72. №11. С.65 - 67.

91.Орлов А.И. Сертификация и статистические методы // Заводская лаборатория». 1997. Т.63. №3. С.55 -62.

92.Орлов А.И. Всегда ли нужен контроль качества продукции? // Заводская лаборатория. 1999. Т.65. №11. С.51 - 55.

93.Орлов А.И. Статистический контроль по двум альтернативным признакам и метод проверки их независимости по совокупности малых выборок // Заводская лаборатория. 2000. Т.66. №1. С.58 - 62.

94.Корхин A.C. О применении статистических методов при приемке металлопродукции по механическим свойствам // Заводская лаборатория. 2003. Т.69. №7. С.52 - 58.

95.Митрохин И.Н., Орлов А.И. Обнаружение разладки с помощью контрольных карт // Заводская лаборатория. 2007. Т.73. №5. С.74 - 78.

96.Орлов А.И. О нецелесообразности использования итеративных процедур нахождения оценок максимального правдоподобия // Заводская лаборатория. 1986. Т.52. №5. С.67 - 69.

97.Струков Т.С. Оценивание параметров смещения и формы распределения фон Мизеса / Заводская лаборатория. 2004. Т.70. №5. С.60 - 64

98.Смоляк С.А. Интерполяция функций нескольких нечисловых переменных // Заводская лаборатория. 2007. №3. С.69 - 77.

99.Смоляк С.А. Восстановление функций нескольких нечисловых переменных при наличии случайных ошибок наблюдения // Заводская лаборатория. 2007. №5. С.67 - 73.

ЮО.Горбач А.Н, Цейтлин НА. Спонтанные последовательности и расстояния между ними // Заводская лаборатория. 2008. Т.74. №11. С.62 - 68.

101.Горбач А.Н, Цейтлин H.A. Анализ спонтанных последовательностей // Заводская лаборатория. 2009. Т.74. №1. С.ХХ-УУ.

102.Новиков Д.А. Теория управления организационными системами. - М.: Московский психолого-социальный институт, 2005. - 584 с.

103 .Губко М.В. Математические модели оптимизации иерархических структур. - М. ЛЕНАНД, 2006. - 264 с.

104.Новиков Д.А., Иващенко A.A. Модели и методы организационного управления инновационным развитием фирмы. - М.: ЛЕНАНД, 2006. - 336 с.

105.Проектирование интегрированных производственно-корпоративных структур:

эффективность, организация, управление / С.Н. Анисимов, A.A. Колобов, И.Н. Омельченко, А.И. Орлов, А.М. Иванилова, С.В. Краснов; Под ред. A.A. Колобова, А.И. Орлова. - М.: МГТУ им. НЭ. Баумана, 2006. - 728 с.

Юб.Новиков Д.А. Управление проектами: организационные механизмы. - М.: ПМСОФТ,

2007. - 140 с.

107.Новиков Д.А. Математические модели формирования и функционирования команд. -М.: Физматлит, 2008. - 184 с.

108.Шадрин А.П. Математическая надежность организационных структур // Заводская лаборатория. 2008. Т.74. №11. С.68 - 72.

109.Статистические методы анализа экспертных оценок / Ученые записки по статистике, т.

Научный журнал КубГАУ, №93(09), 2013 года

29. -М.: Наука, 1977.

110.Экспертные оценки / Вопросы кибернетики. - Вып.58. - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика". 1979.

111 .Экспертные оценки в системных исследованиях / Сборник трудов. - Вып.4. - М.: ВНИИСИ, 1979.

112.Экспертные оценки в задачах управления / Сборник трудов. - М.: Институт проблем управления. 1982.

113.Дэвид Г. Метод парных сравнений. - М.: Статистика, 1978.

114.ГОСТ 23554.2-81. Экспертные методы оценки качества промышленной продукции. Обработка значений экспертных оценок качества продукции. -М. Изд-во Стандартов, 1981.

115.Литвак Б.Г. Экспертная информация: Методы получения и анализа. - М.: Радио и связь.

1982.

116.Левин М.Ш. Современные подходы к оценке эффективности плановых и проектных решений в машиностроении. - М.: ВНИИ информации и технико-экономических исследований по машиностроению и робототехнике, 1987.

117. Сид ельников Ю.В. Теория и организация экспертного прогнозирования. - М.: Институт мировой экономики и международных отношений, 1990.

118Литвак Б.Г. Экспертные технологии управления. 2-е изд. - М.: Дело, 2004,- 398 с.

119. Сид ельников Ю.В. Технология экспертного прогнозирования: Учебное пособие. Изд. 2-е, исправл. - М.: Доброе слово, 2004. - 284 с.

120. Сид ельников Ю.В. Системный анализ в экспертных технологиях,- М.: Доброе слово,

2008.-354 с.

121.Орлов А.И. Экспертные оценки // Заводская лаборатория. 1996. Т.62. №1. С.54 - 60.

122.Крушенко Г.Г., Кокшаров ИИ., Торшилова С.И., Крушенко С.Г. Анализ дефектности отливок методом экспертных оценок // Заводская лаборатория. 2000. Т.66. №5. С.64 - 67.

123Литвак Б. Г. Экспертиза в России / Заводская лаборатория. 2000. Т.66. №7. С.61 - 65.

124.Шахнов ЙФ. Некоторые модели квалиметрического анализа многофакторных объектов с бинарными факторами // Заводская лаборатория. 2005. Т.71. №5. С.59 - 64.

125.Файн В.Б., Дель М.В. «Турнирный» метод ранжирования вариантов // Заводская лаборатория. 2005. Т.71. №7. С.58 - 59.

126.Орлов А.И. Теоретическое обоснование «турнирного» метода ранжирования вариантов // Заводская лаборатория. 2005. Т.71. №7. С.60 - 61.

127.Стрижов В.В. Уточнение экспертных оценок с помощью измеряемых данных // Заводская лаборатория. 2006. Т.72. №7. С.59 - 63.

128.Глухов А.И. Определение сходных элементов в модели совершенства организаций // Заводская лаборатория. 2007. №3. С.77 - 79.

129.Стрижов В. В., Казакова Т. В. Устойчивые интегральные индикаторы с выбором опорного множества описаний объектов // Заводская лаборатория. 2007. Т.73. №7. С.72 - 75.

130.Шахнов И.Ф. Экспресс-анализ упорядоченности интервальных величин // Автоматика и телемеханика. 2004. №10. С.67-84.

131.Дорофеюк A.A., Покровская И.В., Чернявский АЛ. Экспертные методы анализа и совершенствования систем управления// Автоматика и телемеханика. 2004. №10. С. 172-188.

132.Подиновский В.В. Анализ решений при множественных оценках коэффициентов важности критериев и вероятностей значений неопределенных факторов в целевой функции // Автоматика и телемеханика. 2004. №11. С.141-159.

133. Сид ельников Ю.В., Танасова A.C. Прогнозирование знака разности между ценой металла и форвардного контракта на него (на примере меди, алюминия, никеля) // Заводская лаборатория. 2006. Т.72. №11. С.59 - 64.

134.Муравьева B.C., Орлов А.И. Непараметрическое оценивание точки пересечения регрессионных прямых // Заводская лаборатория. 2008. Т.74. №1. С. 63-68.

135.Крюкова Е.М. Применение методов организационно-экономического прогнозирования в отрасли лома черных металлов // Заводская лаборатория. 2008. Т.74. №7. С.67 - 72.

136.Кендэл М. Ранговые корреляции. - М.: Статистика, 1975. - 216 с.

137.Холлендер М., Вулф Д.А. Непараметрические методы статистики. - М.: Финансы и статистика, 1983. - 518 с.

138.Гнеденко Б.В., Орлов А.И. Роль математических методов исследования в кардинальном ускорении научно-технического прогресса // Заводская лаборатория. 1988. Т.54. №1. С.1 - 4.

139.Орлов А.И. О современных проблемах внедрения прикладной статистики и других статистических методов // Заводская лаборатория. 1992. Т.58. №1. С.67 - 74.

140.Горский В.Г., Орлов А.И. Математические методы исследования: итоги и перспективы // Заводская лаборатория. 2002. Т.68. №1. С. 108 - 112.

141.Орлов А.И. Высокие статистические технологии // Заводская лаборатория. 2003. Т.69. №11. С.55 -60.

142.Орлов А.И. «Шесть сигм» - новая система внедрения математических методов исследования // Заводская лаборатория. 2006. Т.72. №5. С.50 - 53.

143.Орлов А.И. Математическое обеспечение сертификации: сравнительный анализ диалоговых систем по статистическому контролю // Заводская лаборатория. 1996. Т.62. №7. С.46 -49.

144.Смирнова О.С. Программное обеспечение для статистического анализа // Заводская лаборатория. 2008. Т.74. №5. С.68 - 75.

145.Орлов А И. Статистические пакеты — инструменты исследователя // Заводская лаборатория. 2008. Т.74. №5. С.76 - 78.

146.Орлов А.И. Неустойчивость параметрических методов отбраковки резко выделяющихся наблюдений // Заводская лаборатория. 1992. Т.58. №7. С.40 - 42.

147.3агоруйко Н.Г., Орлов А.И. Некоторые нерешенные математические задачи прикладной статистики // Современные проблемы кибернетики (прикладная статистика). - М.: Знание, 1981. - С.53-63.

148.Орлов А.И. Некоторые нерешенные вопросы в области математических методов исследования // Заводская лаборатория. 2002. Т.68. №3. С.52-56.

149. Никитин Я.Ю. Асимптотическая эффективность непараметрических критериев. - М.: Наука, 1995. - 240 с.

150.Новиков А.М., Новиков Д.А. Методология. - М.: СИНТЕГ, 2007. - 668 с.

151.Орлов А.И. Средние величины и законы больших чисел в пространствах произвольной природы // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. -Краснодар: КубГАУ, 2013. - №05(89). - С. 554 - 584. ША [article ГО]: 0891304038. - Режим доступа: http://ej .kubagro.ru/2013/05/pdf/3 8.pdf.

152.Орлов А.И. Теория нечетких множеств - часть теории вероятностей / //

Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. -№08(092). С. 589 - 617. - ГОА [article ГО]: 0921308039. - Режим доступа:

http://ei.kubagro.ru/2013/08/pdf/39.pdf.

153.Орлов А.И., Луценко Е.В. О развитии системной нечеткой интервальной математики // Философия математики: актуальные проблемы. Математика и реальность. Тезисы Третьей всероссийской научной конференции; 27-28 сентября 2013 г. / Редкол.: Бажанов В.А. и др. -Москва, Центр стратегической конъюнктуры, 2013. - С. 190-193.

154.Орлов А.И, Луценко Е.В. Системная нечеткая интервальная математика (СНИМ) -перспективное направление теоретической и вычислительной математики // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №07(091). С.

255 - 308. - ША [article ГО]: 0911307015. - Режим доступа: http://ei.kubagro.ru/2013/07/pdf/15.pdf.

155.Орлов А.И. Основные черты новой парадигмы математической статистики / // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. -№06(090). С.188-214. - ГОА [article ГО]: 0901306013. - Режим доступа:

http://ei.kubagro.ru/2013/06/pdf/13.pdf.

References

1. Orlov A.I. Ustojchivost' v social'no-jekonomicheskih modeljah. - М.: Nauka, 1979. - 296

2. Orlov A.I. Statistika ob#ektov nechislovoj prirody i jekspertnye ocenki // Jekspertnye ocenki. Voprosy kibernetiki. Vyp.58. - М.: Nauchnyj Sovet AN SSSR po kompleksnoj probleme «Kibernetika», 1979. S.17-33.

3. Tjurin Ju.N., Litvak B.G., Orlov A.I., Satarov G.A., Shmerling D.S. Analiz nechislovoj informacii // Zavodskaj a laboratory a. 1980. T.46. №10. S. 931-935.

4. Kramer G. Matematicheskie metody statistiki. - М.: Mir, 1975. - 648 s.

5. Smirnov N.V., Dunin-Barkovskij I.V. Kurs teorii verojatnostej i matematicheskoj statistiki dlja tehnicheskih prilozhenij. Izd. 3-e, stereotipnoe. - М.: Nauka, 1969. - 512 s.

6. Bol'shev L.N., Smirnov N.V. Tablicy matematicheskoj statistiki / 3-e izd.- М.: Nauka, 1983. -416 s. (1-e izd. - 1965).

7. Kagan A.M., Linnik Ju.V., Rao S.R. Harakterizacionnye zadachi matematicheskoj statistiki. -М.: Nauka, 1972.-656 s.

8. Orlov A.I. Prikladnaja statistika. - М.: Jekzamen, 2006. - 672 s.

9. Sovremennye problemy kibernetiki (prikladnaja statistika). - М.: Znanie, 1981. - 64 s.

10. Orlov A.I. О perestrojke statisticheskoj nauki i ejo primenenij // Vestnik statistiki. 1990. №1.

S.65 - 71.

11. Orlov A.I. Sovremennaja prikladnaja statistika // Zavodskaja laboratorija. 1998. T.64. №3. S.

52-60.

12. Tjurin Ju.N. Neparametricheskie metody statistiki. - М.: Znanie, 1978. - 64 s.

13. Nalimov V.V. Primenenie matematicheskoj statistiki pri analize veshhestva. - М.: Fizmatgiz, 1960.-430 s.

14. Novickij P.V., Zograf I.A. Ocenka pogreshnostej rezul'tatov izmerenij. - L.: Jenergoatomizdat, 1985.-248 s.

15. Orlov A.I. Chasto li raspredelenie rezul'tatov nabljudenij javljaetsja normal'nym? // Zavodskaja laboratorija. 1991. T.57. №7. S.64-66.

16. Orlov A.I. Jekonometrika. - М.: Jekzamen, 2002. - 576 s.

17. Seleznev V.D., Denisov K.S. Issledovanie svojstv kriteriev soglasija funkcii raspredelenija dannyh s gaussovoj metodom Monte-Karlo dlja malyh vyborok // Zavodskaja laboratorija. 2005. T.71. №1. S.68 - 73.

18. Orlov A.I. Neparametricheskoe tochechnoe i interval'noe ocenivanie harakteristik raspredelenija// Zavodskaja laboratorija. 2004. T.70. №5. S.65-70.

19. Kamen' Ju.Je., Kamen' Ja.Je., Orlov A.I. Real'nye i nominal'nye urovni znachimosti v zadachah proverki statisticheskih gipotez // Zavodskaja laboratorija. 1986. T.52. №12. S.55-57.

20. Orlov A.I. Kakie gipotezy mozhno proverjat' s pomoshh'ju dvuhvyborochnogo kriterija Vilkoksona? // Zavodskaja laboratorija. 1999. T.65. №1. S.51-55.

21. Orlov A.I. О proverke odnorodnosti dvuh nezavisimyh vyborok // Zavodskaja laboratorija.

2003. T.69. №1. S.55-60.

22. Orlov A.I. Metody proverki odnorodnosti svjazannyh vyborok// Zavodskaja laboratorija. 2004. T.70. №7. S.57-61.

23. Smoljak S.A., Titarenko В.Р. Ustojchivye metody ocenivanija: Statisticheskaja obrabotka neodnorodnyh sovokupnostej. - M.: Finansy i statistika, 1980.

24. Ustojchivye statisticheskie metody ocenki dannyh. - M.: Mashinostroenie. 1984.

25. H'juber P. Robastnost' v statistike. - M.: Mir. 1984.

26. Hampel' F., Ronchetti Je., Rausseu P., Shtajel' V. Robastnost' v statistike. Podhod na osnove funkcij vlijanija. - M.: Mir, 1989. 512 s.

27. Orlov A.I. О real'nyh vozmozhnostjah butstrepa как statisticheskogo metoda // Zavodskaja laboratorija. 1987. T.53. №10. S.82-85.

28. Orlov A.I. Metody ocenki blizosti dopredel'nyh i predel'nyh raspredelenij statistik // Zavodskaja laboratorija. 1998. T.64. №5. S. 64-67.

29. Diskussija po analizu interval'nyh dannyh // Zavodskaja laboratorija. 1990. T.56. №7. S.75-95.

30. Voshhinin A.P. Metod optimizacii ob#ektov po interval'nym modeljam celevoj funkcii. - M.: MJel, 1987.

31. Voshhinin A.P., Akmatbekov R.A. Optimizacija po regressionnym modeljam i planirovanie jeksperimenta. - Bishkek: Izd-vo «Ilim», 1992.

32. Voshhinin A.P. Metod analiza dannyh s interval'nymi oshibkami v zadachah proverki gipotez i ocenivanija parametrov nejavnyh linejno parametrizovannyh funkcij // Zavodskaja laboratorija. 2000. T.66. №3. S.51 -64.

33. Voshhinin A.P. Interval'nyj analiz dannyh: razvitie i perspektivy // Zavodskaja laboratorija. 2002. T.68. №1. S. 118-126

34. Voshhinin A.P., Bronz P.V. Postroenie analiticheskih modelej po dannym vychislitel'nogo jeksperimenta v zadachah analiza chuvstvitel'nosti i ocenki jekonomicheskih riskov // Zavodskaja laboratorija. 2007. №1. S. 101 - 109.

35. Voshhinin A.P., Skibickij N.V. Interval'nyj podhod к vyrazheniju neopredelennosti izmerenij i kalibrovke cifrovyh izmeritel'nyh sistem // Zavodskaja laboratorija. 2007. T.73. №11. S.66 - 71.

36. Gus'kova E.A., Orlov A.I. Interval'naja linejnaja pamaja regressija // Zavodskaja laboratorija.

2005. T.71. №3. S.57-63.

37. Orlov A.I. Teorija prinjatija reshenij.- M.: Jekzamen, 2006. - 576 s.

38. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie. Chast' 1. Nechislovaja statistika.

- M.: Izd-vo MGTU im. N.Je. Baumana, 2009. - 544 s.

39. Tarancev A.A. О svjazi interval'nogo analiza s teoriej verojatnostej // Zavodskaja laboratorija.

2004. T.70. №3. S.60 - 65.

40. Tjurin Ju.N., Litvak B.G., Orlov A.I., Satarov G.A., Shmerling D.S. Analiz nechislovoj informacii. - M.: Nauchnyj Sovet AN SSSR po kompleksnoj probleme «Kibemetika», 1981.

41. Pervoe Vsesojuznoe soveshhanie po statisticheskomu i diskretnomu analizu nechislovoj informacii, jekspertnym ocenkam i diskretnoj optimizacii. / Tezisy dokladov. - M. - Alma-Ata: VTNITI, 1981.

42. Vtoraja Vsesojuznaja konferencija po analizu nechislovoj informacii. / Tezisy dokladov. - M.: Tallin: VTNITI, 1984.

43. Lbov G. S. Metody obrabotki raznotipnyh jeksperimental'nyh dannyh. - Novosibirsk; Nauka.

1981.

44. Maamjagi A.V. Nekotorye zadachi statisticheskogo analiza klassifikacij. - Tallinn; AN JeSSR.

1982.

45. Mirkin B.G. Analiz kachestvennyh priznakov i Struktur. - M.: Statistika. 1980.

46. Perekrest V.T. Nelinejnyj tipologicheskij analiz social'no-jekonomicheskoj informacii: Matematicheskie i vychislitel'nye metody. - L.: Nauka, 1983.

47. Terehina A.Ju. Analiz dannyh metodami mnogomernogo shkalirovanija. - M.- Nauka, 1986.

48. Hovanov N.V. Matematicheskie osnovy teorii shkal izmerenija kachestva. - L.: Izd-vo LGU, 1982,- 185 s.

49. Analiz nechislovyh dannyh v sistemnyh issledovanijah / Sbomik trudov. - Vyp.10. - M.:

Научный журнал КубГАУ, №93(09), 2013 года VNIISI, 1982.

50. Metody analiza dannyh, ocenivanija i vybora / Sbornik trudov. - Vyp.l 1. - M.: VNIISI. 1984.

51. Metody analiza dannyh, ocenivanija i vybora v sistemnyh issledovanijah. / Sbornik trudov. Vyp.14. - M.: VNIISI. 1986.

52. Orlov A.I. Razrabotka i issledovanie statisticheskih metodov modelirovanija i analiza ob#ektov nechislovoj prirody. Diss. v forme nauchnogo doklada dokt. tehn. nauk. - M.: MJel, 1992.

53. Pjama K.A. Optimal'noe razbienie metricheskogo verojatnostnogo prostranstva: Avtoref. diss. kand. fiz.-mat. nauk. Vil'njus, 1987.

54. Rydanova G.V. Nekotorye voprosy statisticheskogo analiza sluchajnyh binamyh vektorov: Avtoref. diss. kand. fiz.-mat. nauk. - M.: MGU,1988.

55. Satarov G.A. Mnogomernoe shkalirovanija pri analize dihotomicheskih dannyh о social'no-jekonomicheskih sistemah. Avtoref erat... kand. tehn. nauk. - М.: VNIISI, 1985.

56. Trofimov V.A. Modeli i metody kachestvennogo faktomogo analiza matric svjazi. Avtoreferat... kand. tehn. nauk. - Novosibirsk, In-t matematiki SO AN SSSR, 1982.

57. Sher A.P. Issledovanie testovyh metodov diagnostiki i razrabotka na ih osnove algoritmov obrabotki okeanologicheskoj informacii dlja zadach rybopromyslovogo prognozirovanija: Avtoref. diss. kand. tehn. nauk. - Vladivostok, 1984.

58. Shmerling D.S. Razrabotka i issledovanie rangovyh metodov analiza informacii dlja zadach upoijadochenija jelementov slozhnyh sistem /Avtoref. diss. kand. fiz.-mat. nauk - M.:VNIISI, 1982.

59. Andreenkov V.G., Orlov A.I., Tolstova Ju.N. (otvetstvennye redaktory). Analiz nechislovoj informacii v sociologicheskih issledovanijah. - M.: Nauka, 1985. - 220 s.

60. Orlov A.I. Statistika ob#ektov nechislovoj prirody // Zavodskaja laboratorija. 1990. T.56. №3. S.76 - 83.

61. Orlov A.I. Ob#ekty nechislovoj prirody // Zavodskaja laboratorija. 1995. T.61. №3, s.43 - 52.

62. Orlov A.I. Verojatnostnye modeli konkretnyh vidov ob#ektov nechislovoj prirody //

Zavodskaja laboratorija. 1995. T.61. №5, s.43 - 51.

63. Psihologicheskie izmerenij a. Sb. statej. - M.: Mir, 1967.

64. Pfancagl' I. Teorija izmerenij. - M.: Mir, 1976.

65. Tolstova Ju.N. Kratkaja istorija razvitija reprezentativnoj teorii izmerenij // Zavodskaja laboratorija. 1999. T.65. №3. S. 49 - 56.

66. Orlov A.I. Reprezentativnaja teorija izmerenij i ее primenenija // Zavodskaja laboratorija. 1999. T.65. №3. S. 57-62.

67. Barskij B.V., Sokolov M.V. Srednie velichiny, invariantnye otnositel'no dopustimyh

preobrazovanij shkaly izmerenija / Zavodskaja laboratorija. 2006. T.72. №1. S.59 - 66.

68. Orlov A.I. Matematicheskie metody issledovanija i teorija izmerenij // Zavodskaja

laboratorija. 2006. T.72. №1. S.67 - 70.

69. Kemeni Dzh., Snell Dzh. Kibemeticheskoe modelirovanie: Nekotorye prilozhenija. - М.: Sovetskoe radio, 1972. - 192 s.

70. Orlov A.I. Metody poiska naibolee informativnyh mnozhestv priznakov v regressionnom analize/ Zavodskaja laboratorija. 1995. T.61. №1. S.56 - 58.

71. Orlov A.I. Asimptoticheskoe povedenie reshenij jekstremal'nyh statisticheskih zadach // Zavodskaja laboratorija. 1996. T.62. №10. S.45 -46.

72. Tyrsin A.N. Robastnoe postroenie linejnyh regressionnyh modelej po jeksperimental'nym dannym // Zavodskaja laboratorija. 2005. T.71. №11. S.53 - 58.

73. Bogdanov Ju.I. Informacija Fishera i neparametricheskaja approksimacija plotnosti raspredelenija// Zavodskaja laboratorija. 1998. T.64. №7. S.56-61.

74. Orlov A.I. Matematicheskie metody issledovanija i diagnostika materialov // Zavodskaja laboratorija. 2003. T.69. №3. S.53-64.

75. Bogdanov Ju.I. Metod maksimal'nogo pravdopodobija i komevaja ocenka plotnosti raspredelenija// Zavodskaja laboratorija. 2004. T.70. №3. S.51 - 59.

76. Abusev R.A. Gruppovaja klassifikacija. Reshajushhie pravila i ih harakteristiki. - Perm': Izd-vo Permskogo universiteta, 1992.

77. Aprausheva N.N. Novyj podhod к obnaruzheniju klasterov. - М.: Vychislitel'nyj centr RAN,

1993.

78. Gruppirovki i korreljacii v jekonomiko-statisticheskih issledovanijah. (Serija "Uchenye zapiski po statistike", t.43.) - М.: Nauka, 1982.

79. Mirkin B.G. Gruppirovki v social'no-jekonomicheskih issledovanijah: Metody postroenija i analiza. - М.: Finansy i statistika. 1985.

80. Abusev R.A. О gruppovom podhode v statisticheskoj klassifikacii i kontrole kachestva // Zavodskaja laboratorija. 2003. T.69. №3. S.65 - 68.

81. Shtremel' M.A., Kudija A.V., Ivashhenko A.V. Neparametricheskij diskriminantnyj analiz v zadachah upravlenija kachestvom// Zavodskaja laboratorija. 2006. T.72. №5. S.53-62

82. Borisova I.A., Zagorujko N.G., Kutnenko O.A. Kriterii informativnosti i prigodnosti podmnozhestva priznakov, osnovannye na funkcii shodstva // Zavodskaja laboratorija. 2008. T.74. №1. S. 68-71.

83. Lagutin M.B. Vizual'noe predstavlenie tesnoty svjazej // Zavodskaja laboratorija. 2005. T.71. №7. S.53 - 57.

84. Orlov A.I. Asimptoticheskoe povedenie statistik integral'nogo tipa // Verojatnostnye processy i ih prilozhenija. Mezhvuzovskij sbornik nauchnyh trudov. - M.: MIJeM, 1989. S. 118-123.

85. Orlov A.I. Zadachi optimizacii i nechetkie peremennye. - M.: Znanie, 1980. - 64 s.

86. Zade D. Ponjatie lingvisticheskoj peremennoj i ego primenenie к prinjatiju priblizhennyh reshenij. - M.: Mir. 1976.

87. Tarancev A.A. О vozmozhnosti postroenija regressionnyh modelej pri nechetkoj ishodnoj informacii // Zavodskaja laboratorija. 1999. T.65. №1. S.67-68.

88. Hurgin Ja.I. Chetkie i nechetkie algebraicheskie srednie i ih ispol'zovanie // Zavodskaja laboratorija. 2000. T.66. №1. S.64-66.

89. Germashev I.V., Derbisher V.E., Morozenko T.F., Orlova S.A. Ocenka kachestva tehnicheskih ob#ektov s ispol'zovaniem nechetkih mnozhestv // Zavodskaja laboratorija. 2001. T.67. №1. S.65 - 68.

90. Klement'eva S.V. Primenenie teorii nechetkih mnozhestv dlja izmerenija i ocenki jeffektivnosti realizacii naukoemkoj produktovoj innovacii // Zavodskaja laboratorija. 2006. T.72. №11.

S.65 - 67.

91. Orlov A.I. Sertifikacija i statisticheskie metody // Zavodskaja laboratorija». 1997. T.63. №3.

S.55 -62.

92. Orlov A.I. Vsegda li nuzhen kontrol' kachestva produkcii? // Zavodskaja laboratorija. 1999. T.65. №11. S.51 - 55.

93. Orlov A.I. Statisticheskij kontrol' po dvum al'ternativnym priznakam i metod proverki ih nezavisimosti po sovokupnosti malyh vyborok// Zavodskaja laboratorija. 2000. T.66. №1. S.58 - 62.

94. Korhin A.S. О primenenii statisticheskih metodov pri priemke metalloprodukcii po mehanicheskim svojstvam // Zavodskaja laboratorija. 2003. T.69. №7. S.52 - 58.

95. Mitrohin I.N., Orlov A.I. Obnaruzhenie razladki s pomoshh'ju kontrol'nyh kart // Zavodskaja laboratorija. 2007. T.73. №5. S.74 - 78.

96. Orlov A.I. О necelesoobraznosti ispol'zovanija iterativnyh procedur nahozhdenija ocenok maksimal'nogo pravdopodobija// Zavodskaja laboratorija. 1986. T.52. №5. S.67 - 69.

97. Strukov T.S. Ocenivanie parametrov smeshhenija i formy raspredelenija fon Mizesa / Zavodskaja laboratorija. 2004. T.70. №5. S.60 - 64

98. Smoljak S.A. Interpoljacija funkcij neskol'kih nechislovyh peremennyh // Zavodskaja laboratorija. 2007. №3. S.69 - 77.

99. Smoljak S.A. Vosstanovlenie funkcij neskol'kih nechislovyh peremennyh pri nalichii sluchajnyh oshibok nabljudenija // Zavodskaja laboratorija. 2007. №5. S.67 - 73.

100. Gorbach A.N., Cejtlin N.A. Spontannye posledovatel'nosti i rasstojanija mezhdu nimi //

Zavodskaja laboratorija. 2008. Т.74. №11. S.62 - 68.

101. Gorbach A.N., Cejtlin N.A. Analiz spontannyh posledovatel'nostej // Zavodskaja laboratorija.

2009. T.74. №1. S.HH-UU.

102. Novikov D.A. Teorija upravlenija organizacionnymi sistemami. - M.: Moskovskij psihologo-social'nyj institut, 2005. - 584 s.

103. Gubko M.V. Matematicheskie modeli optimizacii ierarhicheskih Struktur. - M. LENAND,

2006. - 264 s.

104. Novikov D.A., Ivashhenko A.A. Modeli i metody organizacionnogo upravlenija innovacionnym razvitiem firmy. - M.: LENAND, 2006. - 336 s.

105. Proektirovanie integrirovannyh proizvodstvenno-korporativnyh Struktur: jeffektivnost', organizacija, upravlenie / S.N. Anisimov, A.A. Kolobov, I.N. Omel'chenko, A.I. Orlov, A.M. Ivanilova,

S.V. Krasnov; Pod red. A.A. Kolobova, A.I. Orlova. - M.: MGTU im. N.Je. Baumana, 2006. - 728 s.

106. Novikov D.A. Upravlenie proektami: organizacionnye mehanizmy. - M.: PMSOFT, 2007. -

140 s.

107. Novikov D.A. Matematicheskie modeli formirovanija i funkcionirovanija komand. - M.: Fizmatlit, 2008. - 184 s.

108. Shadrin A.P. Matematicheskaja nadezhnost' organizacionnyh Struktur // Zavodskaja laboratorija. 2008. T.74. №11. S.68 - 72.

109. Statisticheskie metody analiza jekspertnyh ocenok / Uchenye zapiski po statistike, t. 29. -M.: Nauka, 1977.

110. Jekspertnye ocenki / Voprosy kibernetiki. - Vyp.58. - M.: Nauchnyj Sovet AN SSSR po kompleksnoj probleme "Kibemetika". 1979.

111. Jekspertnye ocenki v sistemnyh issledovanijah / Sbornik trudov. - Vyp.4. - M.: VNIISI, 1979.

112. Jekspertnye ocenki v zadachah upravlenija / Sbornik trudov. - M.: Institut problem upravlenija. 1982.

113. Djevid G. Metod parnyh sravnenij. - M.: Statistika, 1978.

114. GOST 23554.2-81. Jekspertnye metody ocenki kachestva promyshlennoj produkcii. Obrabotka znachenij jekspertnyh ocenok kachestva produkcii. -M. Izd-vo Standartov, 1981.

115. Litvak B.G. Jekspertnaja informacija: Metody poluchenija i analiza. - M.: Radio i svjaz'.

1982.

116. Levin M.Sh. Sovremennye podhody к ocenke jeffektivnosti planovyh i proektnyh reshenij v mashinostroenii. - M.: VNII informacii i tehniko-jekonomicheskih issledovanij po mashinostroeniju i robototehnike, 1987.

117. Sidel'nikov Ju.V. Teorija i organizacija jekspertnogo prognozirovanija. - М.: Institut mirovoj jekonomiki i mezhdunarodnyh otnoshenij, 1990.

118. Litvak B.G. Jekspertnye tehnologii upravlenija. 2-e izd. - М.: Delo, 2004,- 398 s.

119. Sidel'nikov Ju.V. Tehnologija jekspertnogo prognozirovanija: Uchebnoe posobie. Izd. 2-e, ispravl. - М.: Dobroe slovo, 2004. - 284 s.

120. Sidel'nikov Ju.V. Sistemnyj analiz v jekspertnyh tehnologijah - М.: Dobroe slovo, 2008. -

354 s.

121. Orlov A.I. Jekspertnye ocenki // Zavodskaja laboratorija. 1996. T.62. №1. S.54 - 60.

122. Krushenko G.G., Koksharov I.I., Torshilova S.I., Krushenko S.G. Analiz defektnosti otlivok metodom jekspertnyh ocenok//Zavodskaja laboratorija. 2000. T.66. №5. S.64 - 67.

123. Litvak B. G. Jekspertiza v Rossii / Zavodskaja laboratorija. 2000. T.66. №7. S.61 - 65.

124. Shahnov I.F. Nekotorye modeli kvalimetricheskogo analiza mnogofaktornyh ob#ektov s binamymi faktorami // Zavodskaja laboratorija. 2005. T.71. №5. S.59 - 64.

125. Fajn V.B., Del' M.V. «Tumimyj» metod ranzhirovanija variantov // Zavodskaja laboratorija.

2005. T.71. №7. S.58 - 59.

126. Orlov A.I. Teoreticheskoe obosnovanie «tumirnogo» metoda ranzhirovanija variantov // Zavodskaja laboratorija. 2005. T.71. №7. S.60 - 61.

127. Strizhov V.V. Utochnenie jekspertnyh ocenok s pomoshh'ju izmeijaemyh dannyh // Zavodskaja laboratorija. 2006. T.72. №7. S.59 - 63.

128. Gluhov A.I. Opredelenie shodnyh jelementov v modeli sovershenstva organizacij // Zavodskaja laboratorija. 2007. №3. S.77 - 79.

129. Strizhov V. V., Kazakova Т. V. Ustojchivye integral'nye indikatory s vyborom opornogo mnozhestva opisanij ob#ektov // Zavodskaja laboratorija. 2007. T.73. №7. S.72 - 75.

130. Shahnov I.F. Jekspress-analiz uporjadochennosti interval'nyh velichin // Avtomatika i telemehanika. 2004. №10. S.67-84.

131. Dorofejuk A.A., Pokrovskaja I.V., Chernjavskij A.L. Jekspertnye metody analiza i sovershenstvovanija sistem upravlenija // Avtomatika i telemehanika. 2004. №10. S.172-188.

132. Podinovskij V.V. Analiz reshenij pri mnozhestvennyh ocenkah kojefficientov vazhnosti kriteriev i verojatnostej znachenij neopredelennyh faktorov v celevoj funkcii // Avtomatika i telemehanika. 2004. №11. S.141-159.

133. Sidel'nikov Ju.V., Tanasova A.S. Prognozirovanie znaka raznosti mezhdu cenoj metalla i forvardnogo kontrakta na nego (na primere medi, aljuminija, nikelja) // Zavodskaja laboratorija. 2006. T.72. №11. S.59 - 64.

134. Murav'eva V.S., Orlov A.I. Neparametricheskoe ocenivanie tochki peresechenija regressionnyh prjamyh // Zavodskaja laboratorija. 2008. T.74. №1. S. 63-68.

135. Kijukova E.M. Primenenie metodov organizacionno-jekonomicheskogo prognozirovanija v otrasli loma chemyh metallov // Zavodskaja laboratorija. 2008. T.74. №7. S.67 - 72.

136. Kendjel M. Rangovye korreljacii. - M.: Statistika, 1975. - 216 s.

137. Hollender M., Vulf D.A. Neparametricheskie metody statistiki. - M.: Finansy i statistika,

1983. - 518 s.

138. Gnedenko B.V., Orlov A.I. Rol' matematicheskih metodov issledovanija v kardinal'nom uskorenii nauchno-tehnicheskogo progressa // Zavodskaja laboratorija. 1988. T.54. №1. S.l - 4.

139. Orlov A.I. О sovremennyh problemah vnedrenija prikladnoj statistiki i drugih statisticheskih metodov // Zavodskaja laboratorija. 1992. T.58. №1. S.67 - 74.

140. Gorskij V.G., Orlov A.I. Matematicheskie metody issledovanija: itogi i perspektivy // Zavodskaja laboratorija. 2002. T.68. №1. S.108 - 112.

141. Orlov A.I. Vysokie statisticheskie tehnologii // Zavodskaja laboratorija. 2003. T.69. №11.

S.55 -60.

142. Orlov A.I. «Shest' sigm» - novaja sistema vnedrenija matematicheskih metodov issledovanija // Zavodskaja laboratorija. 2006. T.72. №5. S.50 - 53.

143. Orlov A.I. Matematicheskoe obespechenie sertifikacii: sravnitel'nyj analiz dialogovyh sistem po statisticheskomu kontrolju // Zavodskaja laboratorija. 1996. T.62. №7. S.46 - 49.

144. Smirnova O.S. Programmnoe obespechenie dlja statisticheskogo analiza // Zavodskaja laboratorija. 2008. T.74. №5. S.68 - 75.

145. Orlov A I. Statisticheskie pakety — instrumenty issledovatelja // Zavodskaja laboratorija.

2008. T.74. №5. S.76-78.

146. Orlov A.I. Neustojchivost' parametricheskih metodov otbrakovki rezko vydeljajushhihsja nabljudenij // Zavodskaja laboratorija. 1992. T.58. №7. S.40 - 42.

147. Zagorujko N.G., Orlov A.I. Nekotorye nereshennye matematicheskie zadachi prikladnoj statistiki // Sovremennye problemy kibernetiki (prikladnaja statistika). - М.: Znanie, 1981. - S.53-63.

148. Orlov A.I. Nekotorye nereshennye voprosy v oblasti matematicheskih metodov issledovanija // Zavodskaja laboratorija. 2002. T.68. №3. S.52-56.

149. Nikitin Ja.Ju. Asimptoticheskaja jeffektivnost' neparametricheskih kriteriev. - М.: Nauka, 1995.-240 s.

150. Novikov A.M., Novikov D.A. Metodologija. - M.: SINTEG, 2007. - 668 s.

151. Orlov A.I. Srednie velichiny i zakony bol'shih chisel v prostranstvah proizvol'noj prirody // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agramogo

universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. -№05(89). - S. 554 - 584. ША [article ID]: 0891304038. - Rezhim dostupa:

http://ej.kubagro.ru/2013/05/pdf/38.pdf.

152. Orlov A.I. Teorija nechetkih mnozhestv - chast' teorii verojatnostej / // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs], - Krasnodar: KubGAU, 2013. - №08(092). S. 589 - 617. - ША [article ID]: 0921308039. - Rezhim dostupa: http://ej.kubagro.ru/2013/08/pdf/39.pdf.

153. Orlov A.I., Lucenko E.V. О razvitii sistemnoj nechetkoj interval'noj matematiki // Filosofija matematiki: aktual'nye problemy. Matematika i real'nost'. Tezisy Tret'ej vserossijskoj nauchnoj konferencii; 27-28 sentjabrja 2013 g. / Redkol.: Bazhanov V.A. i dr. - Moskva, Centr strategicheskoj kon#junktury, 2013. - S. 190-193.

154. Orlov A.I., Lucenko E.V. Sistemnaja nechetkaja interval'naja matematika (SNIM) -perspektivnoe napravlenie teoreticheskoj i vychislitel'noj matematiki // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs], - Krasnodar: KubGAU, 2013. - №07(091). S. 255 - 308. - IDA [article ID]: 0911307015. - Rezhim dostupa: http://ej.kubagro.ru/2013/07/pdf/15.pdf.

155. Orlov A.I. Osnovnye cherty novoj paradigmy matematicheskoj statistiki / // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs], - Krasnodar: KubGAU, 2013. - №06(090). S.188-214. - ША [article ID]: 0901306013. - Rezhim dostupa: http://ej.kubagro.ru/2013/06/pdf/13.pdf.