CC BY
100
Научный журнал КубГАУ, №107(03), 2015 года
1
УДК 330.322.16:629.78
01.00.00 Физико-математические науки
ЭКОНОМЕТРИКА ДЛЯ КОНТРОЛЛЕРОВ
Орлов Александр Иванович
д.э.н., д.т.н., к.ф.-м.н., профессор
РИНЦ SPIN-код: 4342-4994
Московский государственный технический
университет им. Н.Э. Баумана, Россия, 105005,
Москва, 2-я Бауманская ул., 5, prof-orlov@mail. ru
Требования к профессиональной подготовке специалистов по контроллингу включают, в частности, требования к интеллектуальным инструментам, которыми должны владеть контроллеры. Одним из таких инструментов является эконометрика. Организация обучения, в частности, составление учебных планов, программ, методических материалов и учебников, предполагает обсуждение объема и содержания соответствующей учебной дисциплины. Дано описание эконометрических инструментов контроллинга, следуя программам курсов «Эконометрика-1» и «Эконометрика-2», которые кафедра ИБМ-2 "Экономика и организация производства" ведет на факультете «Инженерный бизнес и менеджмент» Московского государственного технического университета им. Н.Э. Баумана. Обсуждается внешняя среда эконометрики и необходимые изменения в ней. Например, курс «Теория вероятностей и математическая статистика» является основой для изучения эконометрики. Однако его необходимо привести в соответствие с современными требованиями. В частности, необходимо рассматривать такие понятия, как случайные элементы со значениями в произвольных пространствах, эмпирические и теоретические средние в таких пространствах, доказывать законы больших чисел в общих постановках. Одновременно с указанным расширением содержания курса целесообразно исключить из программы методы, опирающиеся на те предположения, которые не выполняются в конкретных экономических ситуациях. В частности, исключить одновыборочный и двухвыборочный критерии Стьюдента и заменить их соответствующими непараметрическими критериями. Не нужны "классическая" и геометрическая вероятности, и т.д. Учитывая важность проблемы построения интегральных показателей в различных задачах эконометрики, вопросы анализа ситуации с помощью системы показателей обсуждаются подробнее
Ключевые слова: ТЕОРИЯ ВЕРОЯТНОСТЕЙ, МАТЕМАТИЧЕСКАЯ СТАТИСТИКА, ПРИКЛАДНАЯ СТАТИСТИКА, СТАТИСТИЧЕСКИЕ МЕТОДЫ, ЭКОНОМИКА,
UDC 330.322.16:629.78
Physics and mathematical sciences
ECONOMETRICS FOR THE CONNROLLERS
Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci.,
professor
Bauman Moscow State Technical University, Moscow, Russia
Requirements for the professional training of сontroПers include, in particular, the requirements for an intelligent tool that controllers must possess. One of such tools is the econometrics. Organization of training, in particular, preparation of curricula, programs, teaching materials and textbooks, involves discussion of the scope and content of the relevant discipline. We have given the description of the econometric tools of controlling, including the courses of "Econometrics-1" and "Econometrics-2", which the Department of the IBM-2 "Economics and organization of production" is on the faculty "Engineering and Business Management" of Bauman Moscow State Technical University. We have discussed the external environment of econometrics and the necessary changes in it. For example, the course of "Probability Theory and Mathematical Statistics" is the basis for the study of econometrics. However, it has to be brought into line with modern requirements. In particular, it is necessary to consider such things as random elements with values in an arbitrary space, empirical and theoretical means in such spaces, to prove the laws of large numbers in general statements. Simultaneously with the specified extension course content is reasonable to exclude from the program methods based on those assumptions are not met in the concrete economic situations. In particular, we have to eliminate the one-sample and two-sample Student's t tests and replace them with the corresponding nonparametric tests. We do not need the "classical" and geometric probability, etc. We have given the importance of the problem of constructing integral indicators in various problems of econometrics; issues of analysis of the situation by means of a system of indicators are discussed in detail
Keywords: PROBABILITY THEORY, MATHEMATICAL STATISTICS, APPLIED STATISTICS, STATISTICAL METHODS, ECONOMICS, MANAGEMENT,
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
2
УПРАВЛЕНИЕ, ЭКОНОМЕТРИКА, ECONOMETRICS, CONTROLLING,
КОНТРОЛЛИНГ, НЕПАРАМЕТРИЧЕСКАЯ NONPARAMETRIC STATISTICS, STATISTICS
СТАТИСТИКА, СТАТИСТИКА НЕЧИСЛОВЫХ OF NON-NUMERIC DATA, EDUCATION
ДАННЫХ, ОБУЧЕНИЕ
1. Введение. Эконометрика при обучении контроллеров
Требования к профессиональной подготовке специалистов по контроллингу включают, в частности, требования к интеллектуальным инструментам, которыми должны владеть контроллеры. Одним из таких инструментов является эконометрика. Впервые в статье [1] нами была сделана попытка раскрыть содержание понятия «эконометрическая поддержка контроллинга». Из полученных в этой статье выводов мы исходим и сейчас.
В настоящее время эконометрика вызывает большой интерес у научных работников и преподавателей. Так, выпускаемое нами с июля 2000 г. еженедельное компьютерное издание «Эконометрика» имеет более 1500 подписчиков.
Организация обучения, в частности, составление учебных планов, программ, методических материалов и учебников, предполагает обсуждение объема и содержания соответствующей учебной дисциплины. В соответствии с цитированным выше определением Большого Энциклопедического Словаря к эконометрике следует относить математическое программирование, методы теории принятия решений, вообще все экономико-математические методы, кроме тех, которые используются для получения чисто теоретических качественных результатов, типа теорем о существовании магистрали в абстрактных моделях экономической динамики.
В наиболее распространенных представлениях об эконометрике внимание сосредотачивается на статистических методах и моделях. Именно так построено обучение в образовательных структурах научноучебного комплекса (факультета) «Инженерный бизнес и менеджмент»
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
3
МГТУ им. Н.Э. Баумана и соответствующий цикл учебников, начиная с [2]. При этом математическое программирование и ряд иных экономикоматематических методов включаются не в курс эконометрики, а в иные дисциплины. Курсы теории вероятностей и математической статистики (как часть общего курса математики), статистики и эконометрики образуют естественную триаду.
Наконец, иногда эконометрику понимают предельно узко, как дисциплину, посвященную построению статистических моделей частного вида (систем линейных регрессионных и авторегрессионных моделей, типа приведенных в монографии Т. Нейлора [3]). На наш взгляд, эти модели являются излишне специальными для включения в систему образования специалистов по контроллингу и вообще в систему управленческого и экономического образования.
Содержание образования должно соответствовать современному научному уровню и давать знания, методы и навыки, полезные для практической работы. Назрела необходимость пересмотра содержания ряда учебных дисциплин и внесения изменений в учебные планы и соответствующие государственные образовательные стандарты. В частности, необходимо приветствовать введение дисциплины «Эконометрика» в ряд государственных образовательных стандартов по управленческим и экономическим дисциплинам. Однако содержание приведенных в них минимальных требований целесообразно привести в соответствие с новой парадигмой математических методов экономики [4,
5] и реально читаемыми курсами эконометрики.
Курс «Теория вероятностей и математическая статистика» образует естественную основу эконометрики. Однако его необходимо привести в соответствие с современными требованиями, прежде всего с новой парадигмой математических методов экономики. В частности, необходимо рассматривать случайные элементы со значениями в произвольных
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
4
пространствах, эмпирические и теоретические средние в таких пространствах, доказывать законы больших чисел в общих постановках. Необходимо исключить из программы курса «Теория вероятностей и математическая статистика» методы, опирающиеся на те предположения, которые не выполняются в конкретных экономических ситуациях. В частности, исключить одновыборочный и двухвыборочный критерии Стьюдента и заменить их на соответствующие непараметрические критерии [6].
Как преподавание контроллинга, так и преподавание эконометрики в настоящее время находятся в стадии становления. Нет опыта десятилетий. Необходимо отработать наиболее целесообразные формы преподавания. В частности, курс эконометрики может быть разбит на стадии. Первая стадия, как это и реализуется в настоящее время в МГТУ им. Н.Э. Баумана, должна следовать за курсами теории вероятностей и математической статистики (как части общего курса математики) и прикладной статистики [7], завершая фундаментальное образование по своему направлению. Ее место - третий или четвертый год дневного обучения бакалавров или специалистов. Однако в магистратуре или в конце обучения специалистов, на 10-м или 11-м семестре (включая бакалавриат), представляется полезным иметь эконометрический курс прикладной направленности, нацеленный на применение эконометрических методов в задачах прогнозирования, планирования, контроля, анализа внутренних и внешних рисков, принятия решений и др. Название курса может быть несколько иным, например, "Организационно-экономическое моделирование".
Актуальной является проблема разработки учебно-методической литературы, например, пособий по лабораторным работам по эконометрике, обмен опытом преподавания и научных исследований. Отметим, что подавляющее большинство эконометрических (т.е. статистических) методов могут быть успешно применены не только в
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
5
контроллинге, менеджменте и экономике. Они могут быть использованы в технических, медицинских, геологических, социологических,
психологических, исторических и иных социально-экономических исследованиях, практически в любой научной дисциплине и прикладной области. В частности, большой опыт накоплен за последние пятьдесят с лишним лет секцией «Математические методы исследования» научнотехнического журнала «Заводская лаборатория. Диагностика материалов», основанной в начале 1960-х годов академиком АН УССР Б.В. Гнеденко и проф. В.В. Налимовым. В этой секции журнале опубликовано более тысячи статей по прикладной статистике и другим статистическим методам. На основе огромного накопленного опыта целесообразно приступить к широкому обучению основам современных статистических методов и эконометрики (на современном уровне, т.е. согласно новой парадигме прикладной математической статистики [8, 9]) студентов технических специальностей.
Поскольку контроллинг опирается на использование информационных систем управления предприятиями, то эконометрические программные продукты должны быть неотъемлемой составной частью таких систем [10].
Свободное владение такими инструментами контроллинга, как эконометрика, - признак профессионализма контроллера.
Однако из сказанного выше ясно, что эконометрика - дисциплина на стыке менеджмента и экономики, с одной стороны, прикладной математики и компьютерных наук, с другой стороны. Эконометрика рассматривается в паспорте научной специальности 08.00.13 "Математические и инструментальные методы экономики". Следовательно, специалист в области эконометрики должен владеть как организационно-экономическими, так и математическими знаниями, умениями, навыками, способностями. Нельзя требовать от каждого
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
6
контроллера, чтобы он был специалистом в области эконометрики. Но внутри каждого достаточно крупного подразделения контроллинга целесообразно иметь такого специалиста.
Требования к профессиональной подготовке специалистов по контроллингу включают, в частности, знание инструментальной базы. Одним из инструментов контроллинга является эконометрика. Как уже отмечалось, в статье [1] впервые была сделана попытка раскрыть содержание понятия «эконометрическая поддержка контроллинга». Обширный перечень конкретных применений эконометрики при решении задач контроллинга был приведен в работах [11, 12]. Но на пути к получению адекватных знаний в этом направлении возникает ряд проблем.
Легко ли овладеть эконометрическими инструментами контроллинга? К сожалению, нелегко. То, что эконометрика - один из наиболее эффективных инструментов контроллинга, бесспорно. Специалисты владеют этим инструментом, поэтому они обычно рассказывают о полученных результатах, а не о приемах использования инструмента. В результате молодому поколению бывает сложно познакомиться с инструментальными основами. Начинающим специалистам крайне тяжело воспринимать ту или иную контроллинговую методику, если они не знают базовых подходов и методов, на основе которых она была сформирована. Зачастую они не постигают сущности методики, ограничиваясь повторением общих слов. Литературные источники также, к сожалению, не всегда дают исчерпывающую информацию по возникающим у начинающих специалистов вопросам.
Особенно актуальна эта проблема для современной России, в которой идет бурный процесс внедрения контроллинга. Большое значение имеет освоение зарубежного опыта. А эконометрические инструменты контроллинга в западных книгах не описываются, только упоминаются. Ведь они всем известны. На Западе. Но не у нас.
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
7
В качестве, типичного отрицательного примера обсудим изменение во времени сравнительных объемов текстов, выделяемых для описания различных вопросов управления качеством промышленной продукции. В одной из первых публикаций [13] Международной организации по стандартизации (ИСО) глава по управлению качеством почти полностью состояла из рассмотрения методов статистического приемочного контроля и других методов эконометрики качества. Другими словами, управление качеством практически приравнивалось к эконометрике качества. А в недавно выпущенном отечественными авторами обширном опусе по качеству [14], представленному читателю как учебник (!), содержатся многостраничные рассуждения вокруг организации управления качеством, но основная теория в этой области - статистический приемочный контроль - вообще не рассматривается (а такому эффективному методу эконометрики качества, как контрольным картам, уделено лишь 5,5 стр.). Очевидно, по подобному "учебнику" нельзя научиться использованию современных методов управления качеством.
Между тем в стандартах ИСО серии 9000, посвященных менеджменту качества, статистические методы управления качеством указываются как необходимый элемент систем качества, но содержание этого элемента не раскрывается. Почему не раскрывается? Скорее всего потому, что по этой тематике действуют многочисленные стандарты ИСО, а также региональные и национальные стандарты, посвященные конкретным методам (анализ отечественных стандартов по статистическим методам управления качеством дан в статье [15]). Таким образом, статистические методы управления качеством были хорошо известны всем специалистам.
Затем к проблеме качества обратилось новое поколение специалистов. Они при обучении изучали уже только стандарты ИСО серии 9000 и затем работали в соответствии со своими знаниями - только с этими стандартами. Вполне естественно, что в дальнейшем и учебники они
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
8
писали, исходя из своих представлений об этой области. В этих учебниках об эконометрических инструментах управления качеством в лучшем случае только упоминается. В результате следующее (третье) поколение, выучившись по дефектным учебникам, не сможет профессионально проанализировать нормативно-техническую документацию по управлению качеством, в том числе стандарты и договора на поставку (разделы «Правила приемки и методы контроля») и, тем более, не сможет спроектировать оптимальную систему контроля. Наблюдаем деградацию теоретических и практических работ в области управления качеством промышленной продукции. Указанная причина деградации выглядит мелкой - необоснованное смещение акцентов в текстах учебников по управлению качеством - но приводит она к фатальным последствиям. Ее необходимо учесть при развитии работ по обучению и внедрению контроллинга, чтобы не повторить печальную судьбу управления качеством.
Организация обучения, в частности, составление учебных планов, программ, методических материалов и учебников, предполагает обсуждение объема и содержания соответствующей учебной дисциплины.
Как уже говорилось, научно-учебный комплекс "Инженерный бизнес и менеджмент» МГТУ им. Н.Э. Баумана исходит из широко распространенного определения: "Статистический анализ экономических данных называется эконометрикой" [16, с.25]. Именно так построено обучение и соответствующий учебник [2]. При этом математическое программирование и ряд иных экономико-математических методов включаются не в курс эконометрики, а в другие дисциплины. Курсы теории вероятностей и математической статистики (как часть общего курса математики), прикладной статистики и эконометрики (именно в такой последовательности) образуют естественную законченную триаду по подготовке специалистов и бакалавров для практической работы на
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
9
наукоемких производствах в высокотехнологичных отраслях промышленности.
2. Содержание обучения эконометрике
Дадим описание эконометрических инструментов контроллинга, следуя программам курсов «Эконометрика-1» и «Эконометрика-2», которые кафедра ИБМ-2 "Экономика и организация производства" ведет на факультете «Инженерный бизнес и менеджмент» Московского государственного технического университета им. Н.Э. Баумана. Методическая база преподавания эконометрики развивается в соответствии с концепцией, впервые выдвинутой и обоснованной в докладе [17] и реализованной в учебнике [2].
1. Выборочные исследования. Построение выборочной функции ожидаемого спроса и расчет оптимальной розничной цены при заданной оптовой цене (издержках). Пример маркетингового исследования потребителей растворимого кофе. Различные виды формулировок вопросов (открытый, закрытый, полузакрытый вопросы), их достоинства и недостатки. Биномиальная и гипергеометрическая модели выборки, их близость в случае большого объема генеральной совокупности по сравнению с выборкой. Асимптотическое распределение выборочной доли (в случае ответов типа "да" - "нет"). Интервальное оценивание доли и метод проверки гипотезы о равенстве долей.
2. Проверка однородности двух независимых выборок. Критерий Крамера-Уэлча для проверки равенства математических ожиданий. Некорректность использования двухвыборочного критерия Стьюдента. Расчет статистики двухвыборочного критерия Вилкоксона и правила принятия решения на основе ее асимптотической нормальности.
3. Метод наименьших квадратов для линейной прогностической функции. Подход к оцениванию параметров. Критерий правильности
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
10
расчетов. Оценка остаточной дисперсии. Точечный и интервальный прогноз. Метод наименьших квадратов для модели, линейной по параметрам. Случай нескольких независимых переменных (регрессоров). Преобразования переменных. Оценивание коэффициентов многочлена. Оценка остаточной дисперсии как критерий качества эконометрической модели. Типовое поведение остаточной дисперсии при расширении множества регрессоров. Оценка степени полинома и описание асимптотического поведения этой оценки (геометрическим
распределением со сдвигом).
4. Инфляция как рост цен. Разброс цен и возможная точность определения «рыночной цены». Потребительские корзины. Определение индекса инфляции. Теоремы умножения и сложения для него. Средний индекс (темп) инфляции. Инфляция в России. Динамика основных макроэкономических показателей России. Виды инфляции: спроса, издержек, административная. Применения индекса инфляции. Приведение к сопоставимым ценам. Прожиточный минимум. Вклады в банки и кредиты. Курс доллара в сопоставимых ценах. Инфляция и бухгалтерская отчетность. Инфляция и стоимость основных фондов предприятия.
5. Процедуры экспертного оценивания. Примеры. Использование в
соревнованиях, при выборе, распределении финансирования. Военный Совет в Филях. Метод Дельфи. Мозговой штурм. Экологические экспертизы. Планирование и организация экспертного исследования. Рабочая группа и экспертная комиссия. Основные стадии проведения экспертного исследования. Экономические вопросы. Формирование целей экспертного исследования (сбор информации для ЛПР и/или подготовка проекта решения для ЛПР и др.). Роль диссидентов. Формирование состава экспертной комиссии: методы списков (реестров), "снежного кома", самооценки, взаимооценки. Проблема априорных предпочтений экспертов. Различные варианты организации экспертного исследования,
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
11
различающиеся по числу туров (один, несколько, не фиксировано), порядку вовлечения экспертов (одновременно, последовательно), способу учета мнений (с весами, без весов), организации общения экспертов (без общения, заочное, очное с ограничениями ("мозговой штурм", Совет в Филях) или без ограничений). Нахождение итогового мнения экспертов: методы средних арифметических и медиан рангов. Построение согласующей ранжировки. Метод сценариев экспертного прогнозирования. Прогнозирование развития народного хозяйства России в условиях «открытой торговли».
6. Теория измерений. Определения, примеры, группы допустимых преобразований для шкал наименований, порядка, интервалов, отношений, разностей, абсолютной. Требование устойчивости статистических выводов относительно допустимых преобразований шкал. Средние по Коши и описание средних, результат сравнения которых устойчив в порядковой шкале. Средние по Колмогорову и описание средних, результат сравнения которых устойчив в шкалах интервалов и отношений. Применения к экспертному оцениванию.
7. Оптимизационный подход к определению средних величин.
Примеры: математическое ожидание и среднее арифметическое,
выборочная и теоретическая медианы, медиана Кемени. Нахождение медианы Кемени на основе матрицы попарных расстояний между элементами множества возможных ответов экспертов. Эмпирические и теоретические средние в пространствах произвольной природы. Законы больших чисел для нечисловых данных и их интерпретация в терминах теории экспертного опроса.
8. Статистический приемочный контроль - выборочный контроль,
основанный на эконометрической теории. Его необходимость и эффективность. Планы контроля по альтернативному признаку.
Одноступенчатый контроль. Оперативная характеристика. Риски
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
12
поставщика и потребителя, приемочный и браковочный уровни дефектности. Расчеты для плана (n, 0). Контроль с разбраковкой. Средний выходной уровень дефектности и его предел (ПСВУД). Расчет ПСВУД для плана (n, 0). Выбор плана контроля на основе ПСВУД. Расчет приемочного и браковочного уровней дефектности для одноступенчатого плана с помощью теоремы Муавра-Лапласа. Выбор одноступенчатого плана контроля по заданным приемочным и браковочным уровням дефектности на основе асимптотических соотношений. Затраты, связанные с принятием решений при статистическом приемочном контроле. Ограниченные возможности использования экономических показателей при статистическом контроле.
9. Эконометрика качества. Арбитражная характеристика и принцип распределения приоритетов. Расчет планов контроля поставщика и потребителя на основе принципа распределения приоритетов. Геометрическая интерпретация результатов контроля и планов контроля при последовательной проверке единиц продукции. Усеченные планы контроля. Всегда ли нужен выходной контроль качества? Сравнение экономической эффективности сплошного контроля и увеличения объема партии; сплошного контроля и замены дефектных единиц продукции в системе гарантийного обслуживания. Статистические методы обеспечения качества (прикладная статистика, статистический приемочный контроль по альтернативному и количественному признаку, статистическое регулирование технологических процессов (контрольные карты Шухарта и кумулятивных сумм), планирование экспериментов, надежность и испытания).
10. Проблема обнаружения эффекта (проверки однородности в связанных выборках). Критерий знаков. Критерий проверки равенства 0 математического ожидания. Критерий типа омега-квадрат для проверки симметрии распределения.
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
13
11. Основы теории нечеткости. Описание неопределенностей с помощью теории нечетких множеств. Алгебра нечетких множеств. Понятие случайного множества. Распределения случайных множеств. Вероятность накрытия элемента случайным множеством. Сведение теории нечетких множеств к теории случайных множеств. Значение теории нечеткости при построении эконометрических моделей социальноэкономических явлений и процессов.
12. Статистика интервальных данных. Погрешности измерения и
интервальные данные. Операции над интервальными числами. Основная модель интервальной статистики. Понятие нотны - максимально возможного отклонения, вызванного интервальностью статистических данных. Расчет асимптотической нотны (для малой абсолютной погрешности). Основные результаты статистики интервальных данных. Рациональный объем выборки. Расчет асимптотической нотны, рационального объема выборки и доверительных интервалов при оценивании математического ожидания и дисперсии. Инвестиционные проекты и сравнение потоков платежей. Чистая текущая стоимость NPV -характеристика финансового потока. Необходимость изучения
устойчивости выводов по отношению к отклонениям коэффициентов дисконтирования и величин платежей. Влияние интервальности дисконтфакторов на величину NPV. Формула для погрешности NPV.
13. Эконометрические методы классификации. Триада: построение классификаций - анализ классификаций - использование классификаций. Лемма Неймана-Пирсона и непараметрический дискриминантный анализ на основе непараметрических оценок плотности в пространствах произвольной природы. Линейный дискриминантный анализ (диагностика на два класса с помощью «индексов» - линейных функций от координат). Характеристики качества алгоритмов диагностики. Почему нельзя использовать такую характеристику, как «вероятность правильной
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
14
классификации»? Асимптотическое распределение рекомендуемой корректной характеристики («прогностической силы»). Чем схожи и чем различаются задачи группировки и кластер-анализа. Агломеративные иерархические алгоритмы ближнего соседа, дальнего соседа и средней связи. Метод ^-средних и проблема остановки алгоритма. Совместное (последовательное и параллельное) использование различных алгоритмов кластер-анализа. Двухкритериальная оптимизационная постановка кластер-анализа на основе внутрикластерного разброса и числа кластеров. Кластер-анализ признаков. Измерение расстояния между признаками с помощью линейного коэффициента корреляции Пирсона и непараметрического рангового коэффициента корреляции Спирмена. Понятие о методах многомерного шкалирования. Оптимизационные постановки и использование результатов.
14. Эконометрика риска. Понятие риска. Многообразие рисков. Характеристики рисков. Анализ, оценка и управление рисками. Аддитивно-мультипликативная модель оценки рисков.
Вслед за перечисленными базовыми разделами эконометрики могут быть изучены и применены дальнейшие эконометрические модели и методы, в частности, описанные в учебнике [2].
3. Внешняя среда эконометрики
Содержание образования должно соответствовать современному научному уровню и давать знания, методы и навыки, полезные для практической работы. Назрела необходимость пересмотра содержания ряда учебных дисциплин и внесения изменений в соответствующие государственные образовательные стандарты. В частности, необходимо обеспечить введение обязательного курса «Эконометрика» в ряд государственных образовательных стандартов по управленческим и экономическим дисциплинам. Содержание приведенных в стандартах
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
15
минимальных требований целесообразно привести в соответствие с курсами эконометрики, реально читаемыми в соответствии с новой парадигмой математических методов экономики.
На основе современного подхода к преподаванию эконометрики следует сформулировать предложения по изменению преподавания смежных дисциплин. Так, курс «Теория вероятностей и математическая статистика» является основой для изучения эконометрики. Однако его необходимо привести в соответствие с современными требованиями. В частности, необходимо рассматривать такие понятия, как случайные элементы со значениями в произвольных пространствах, эмпирические и теоретические средние в таких пространствах, доказывать законы больших чисел в общих постановках. Одновременно с указанным расширением содержания курса целесообразно исключить из программы методы, опирающиеся на те предположения, которые не выполняются в конкретных экономических ситуациях. В частности, исключить одновыборочный и двухвыборочный критерии Стьюдента и заменить их соответствующими непараметрическими критериями. Не нужны "классическая" и геометрическая вероятности (подробнее см. [18]).
Как уже отмечалось, и преподавание контроллинга, и преподавание эконометрики в настоящее время все еще находятся в стадии формирования. Нет опыта десятилетий, но нет и закостеневших традиций. Есть возможность и необходимость отработать наиболее эффективные формы преподавания. В частности, курс эконометрики может быть разбит на два этапа. Первый этап соответствует подготовке бакалавров. Он, как это и реализуется в настоящее время в МГТУ им. Н.Э. Баумана, следует за курсами теории вероятностей и математической статистики (как части общего курса математики) и прикладной статистики [7], завершая фундаментальное образование бакалавров по своему направлению. Его место - третий или четвертый год дневного обучения. Второй этап входит
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
16
в подготовку магистров (или специалистов - на 10-м или 11-м семестре). Представляется полезным предложить студентам эконометрический курс прикладной направленности, охватывающий применение
эконометрических методов в задачах прогнозирования, планирования, контроля, анализа внутренних и внешних рисков, принятия решений и др. Аналогичные два этапа имеются в учебном плане второго образования на факультете "Инженерный бизнес и менеджмент", но с несколько измененными названиями дисциплин - соответственно "Статистика" и "Методы принятия управленческих решений". В Бизнес-школе МГТУ им. Н.Э. Баумана аналогичные дисциплины называются "Количественные методы, статистика и информатика" и "Эконометрика".
Актуальной является проблема разработки учебно-методической литературы, обмен опытом преподавания и научных исследований. Корпус базовых учебников подготовлен в соответствии с новой парадигмой математических методов экономики [5]. Однако необходимы методические материалы следующего поколения - соответствующие конкретным используемым в преподавании учебным программам учебники, учебные пособия и конспекты лекций, практикумы по решению задач, методические указания по проведению лабораторных работ, наборы контрольных материалов для преподавателей и пособия по подготовке к экзаменам и зачетам для студентов, и т.д. Отметим, что подавляющее большинство эконометрических методов могут быть успешно применены не только в контроллинге, менеджменте и экономике. Они используются в технических, медицинских, геологических, социологических,
исторических и иных социально-экономических исследованиях,
практически в любой научной дисциплине и прикладной области. На основе новой парадигмы эконометрики (т.е. прежде всего прикладной статистики) и накопленного опыта прикладных исследований и преподавания целесообразно приступить к обучению основам
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
17
современных статистических методов студентов технических
специальностей в МГТУ им. Н.Э. Баумана и других вузах.
Поскольку службы контроллинга интенсивно используют
информационные системы управления предприятиями, то
эконометрические программные продукты должны быть неотъемлемой составной частью таких систем [10]. Очевидно, что включающие эконометрические и статистические методы распространенные программные продукты общего назначения должны соответствовать новой парадигме математических методов экономики. К сожалению, в настоящее время такого соответствия нет [19, 20].
Свободное владение таким интеллектуальным инструментом решения проблем, как эконометрика, - признак профессионализма контроллера.
Учитывая важность проблемы построения интегральных показателей в различных задачах эконометрики, обсудим эту тему подробнее.
4. Анализ ситуации с помощью системы показателей
В различных управленческих и экономических задачах используются показатели и системы показателей. Например, в теоретических обсуждениях популярен такой показатель, как рентабельность инвестиций (для достижения полной определенности ситуации надо фиксировать финансовый поток, дисконт-фактор и период рассмотрения). Широко известны развернутые системы показателей, предназначенных для оценки финансово-хозяйственной деятельности предприятий и организаций. Общее число показателей достигает многих десятков, сотен и даже тысяч. Особенно если используется иерархический подход к построению системы показателей (деревья показателей, в иной терминологии - единичные, групповые и обобщенные показатели и др.).
Как можно применять системы показателей для решения задач менеджмента, в частности, контроллинга? Обычно их используют для
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
18
сравнения и выбора объектов (например, проектов, образцов продукции, предприятий) между собой. Требуется установить, какой объект лучше, какой хуже, упорядочить их между собой. Отсюда ясно, что сама по себе система показателей носят вспомогательный характер. Это - инструмент для решения задач сравнения и выбора.
Есть два основных подхода к упорядочению объектов на основе системы показателей. Первый из них основан на построении некоего обобщенного (интегрального) показателя. В простейшем случае строится линейная (или иная) комбинация значений показателей, коэффициенты при этом оцениваются экспертно. Во втором подходе используют более изощренную технику многокритериальной оптимизации, в частности, оптимизации по Парето.
Оба подхода предполагают начальный этап - возможно большее сокращение числа показателей при минимально возможной потере содержащейся в них информации. После исключения дублирующих (функционально связанных) показателей целесообразно провести кластеранализ [2, 7] оставшихся с целью выделения групп однородных показателей, а в них - показателей, которые будут представлять однородные группы. Связь между показателями естественно оценивать по статистическим данным с помощью, например, коэффициентов ранговой корреляции Кендалла или Спирмена. А кластер-анализ проводить методом ^-средних, в качестве представителя группы брать легко вычисляемый (по реальным данным) показатель, расположенный вблизи центра группы. Число групп - до нескольких десятков.
Популярный подход на основе построения некоего обобщенного показателя, особенно когда строится линейная комбинация значений показателей, а коэффициенты при них оцениваются экспертно, плох тем, что, как правило, эксперты не в состоянии оценить коэффициенты достаточно точно. Разброс их значений недопустимо велик. Так, в свое
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
19
время нам пришлось разбираться с ситуацией, в которой при оценке технологий уничтожения химического оружия разброс оценок американских экспертов составлял десятки процентов, что делало абсолютно бесполезной разработанную ими систему из 120 показателей. Причина описанного явления состоит в том, что человеку свойственно отвечать на вопросы качественного характера (типа: какой проект из представленных для анализа привлекательнее), чем на вопросы количественного характера (типа: во сколько раз привлекательнее, или -укажите коэффициенты при показателях). Гораздо точнее коэффициенты оцениваются с помощью экспертно-статистического метода, основанного на предварительном непосредственном сравнении (оценке) некоторого количества объектов с помощью высококвалифицированных экспертов.
Другой недостаток первого подхода (на основе построения некоего обобщенного показателя), когда строится линейная комбинация значений единичных показателей, а коэффициенты при них оцениваются экспертно, состоит в том, что для анализа данных, измеренных в порядковой шкале, нельзя использовать средние арифметические и вообще операцию сложения. Применять надо медианы. В крайнем случае - медианы и средние арифметические, а затем результаты согласовывать, как это предложено в [21] и описано в [2].
Во втором подходе используют многокритериальную оптимизацию, когда каждый параметр рассматривается как критерий. Первый шаг -оптимизация по Парето, т.е. отбрасывание вариантов, проигрывающих другим. Затем идет тщательный анализ оставшихся вариантов, сравнение их различными способами. Целесообразно применять выводы, полученные при использовании различных способов (устойчивые по отношению к способу обработки). При анализе системы показателей и сравнении объектов необходимо использовать различные методы теории принятия решений, прежде всего экспертные [2, 22, 23].
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
20
Обсудим использование взвешенных агрегированных показателей в качестве интегральных показателей. Кроме расчета линейной комбинации т.е. взвешенной суммы значений единичных показателей, есть много иных способов. Опишем некоторые из них.
Пусть Х\, Х2,..., ХК - частные (или групповые) числовые показатели. Пусть каждому из них приписан вес - Аь А2, ..., АК соответственно, отражающий их относительную важность (оцененную экспертами или иным способом). Весовые коэффициенты неотрицательны и в сумме составляют 1.
Взвешенные агрегированные показатели можно определить следующим единообразным способом.
Введем (чисто формально) распределение вероятностей,
приписывающее каждому значению ХМ, М = 1, 2, ..., К, вероятность АМ. Для этого распределения обычным образом определим такие характеристики, как математическое ожидание, медиана, начальные моменты, мода и т.д., которые и будем использовать в качестве взвешенных агрегированных показателей или при их расчете.
При этом математическое ожидание дает взвешенное среднее арифметическое, медиана - взвешенную медиану (в частном случае, когда одна из ступенек функции распределения приходится на высоту 0,5, целесообразно ввести понятия левой и правой медиан - т.е. левого и правого концов указанной ступеньки соответственно).
Начальный момент р-го порядка после извлечения корня р-ой степени дает взвешенное степенное. Аналогичным образом получаем обобщенное среднее по Колмогорову общего вида [7, 22, 23].
Мода указывает на значение наиболее важного показателя.
В соответствии с методологией устойчивости результатов обработки данных [24, 25] при анализе конкретной ситуации целесообразно одновременно использовать несколько обобщенных показателей,
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
21
например, взвешенную медиану и взвешенное среднее арифметическое. Хотя согласно теории измерений для усреднения показателей, измеренных в порядковой шкале, использование среднего арифметического
некорректно, в отличие от применения медианы в качестве интегрального показателя, но расчет среднего арифметического имеет давние традиции [26]. Поэтому в эконометрике [2] разработана процедура построения итогового упорядочения объектов в два этапа. На первом этапе строятся два упорядочения - по средним арифметическим ответов экспертов и по медианам. На втором этапе рассчитывается упорядочение, согласующее эти два упорядочения.
Литература
1. Орлов А.И. Эконометрическая поддержка контроллинга // Контроллинг. -
2002. - №1. - С.42-53.
2. Орлов А.И. Эконометрика. Изд. 3-е, испр. и дополн. - М.: Экзамен, 2004. - 576 с.
3. Нейлор Т. Машинные имитационные эксперименты с моделями
экономических систем. - М.: Мир, 1975. - 500 с.
4. Орлов А.И. Новая парадигма анализа статистических и экспертных данных в задачах экономики и управления / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. -№04(098). С. 105 - 125. - IDA [article ID]: 0981404008. - Режим доступа: http://ei.kubagro.ru/2014/04/pdf/08.pdf
5. Орлов А. И. Новая парадигма математических методов экономики // Экономический анализ: теория и практика. - 2013. - № 36 (339). - С.25-30.
6. Орлов А.И. Современное состояние непараметрической статистики /
А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2015. - №02(106). С. 239 - 269. - IDA [article ID]: 1061502017. - Режим доступа: http://ej.kubagro.ru/2015/02/pdf/17.pdf
7. Орлов А. И. Прикладная статистика. - М.: Экзамен, 2006. - 672 с.
8. Орлов А.И. Новая парадигма прикладной статистики // Заводская лаборатория. Диагностика материалов. 2012. Том 78. №1, часть I. С.87-93
9. Орлов А. И. Основные черты новой парадигмы математической
статистики / А. И. Орлов // Политематический сетевой электронный научный журнал
Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №06(090). С. 187 - 213. - IDA [article ID]: 0901306013. - Режим доступа: http://ej.kubagro.ru/2013/06/pdf/13.pdf
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
22
10. Орлов А.И., Гуськова Е.А. Информационные системы управления предприятием в решении задач контроллинга // Контроллинг. - 2003. - № 1(5). - С.52-59.
11. Орлов А.И., Орлова Л.А. Применение эконометрических методов при решении задач контроллинга // Контроллинг. - 2003. - №4(8). - С.50-54.
12. Орлов А.И., Орлова Л.А. Эконометрика в обучении контроллеров // Контроллинг. - 2004. - № (11). - С.68-73.
13. Цели и принципы стандартизации. / Под ред. Т. Сандерса. - М.: Изд-во стандартов, 1974. - 132 с.
14. Всеобщее управление качеством: Учебник для вузов / О.П. Глудкин, Н.М. Горбунов, А.И. Гуров, Ю.В. Зорин: под ред. О.П. Глудкина. - М.: Горячая линия -Телеком, 2001. - 600 с.
15. Орлов А.И. Сертификация и статистические методы (обобщающая статья) // Заводская лаборатория. Диагностика материалов. 1997. Т.63. № 3. С. 55 - 62.
16. Долан Э.Дж., Линдсей Д.Е. Рынок: микроэкономическая модель. - СПб: СП "Автокомп", 1992. - 496 с.
17. Орлов А.И., Фалько С.Г. Методология преподавания эконометрики на экономических факультетах технических вузов // Международная научно-методическая конференция "Методология преподавания статистики, эконометрики и экономикоматематических дисциплин в экономических вузах" Тезисы докладов (2-6 февраля 1999 г., МЭСИ). - М.: Моск. гос. ун-т экономики, статистики и информатики, 1999. - С.108-109.
18. Орлов А.И. Организационно-экономическое моделирование,
эконометрика и статистика в техническом университете // Вестник МГТУ им. Н.Э. Баумана. Сер. «Естественные науки». 2012. №1. С. 106-118.
19. Орлов А.И. Статистические пакеты - инструменты исследователя // Заводская лаборатория. Диагностика материалов. 2008. Т.74. № 5. С. 76 - 78.
20. Орлов А. И. Компьютерно-статистические методы: состояние и
перспективы / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №09(103). С. 163 - 195. - IDA [article ID]: 1031409012. - Режим доступа: http://ej.kubagro.ru/2014/09/pdf/12.pdf
21. Горский В.Г., Гриценко А.А., Орлов А.И. Метод согласования кластеризованных ранжировок // Автоматика и телемеханика. 2000. №3. С.179 - 187.
22. Орлов А.И. Теория принятия решений. - М.: Экзамен, 2006. - 576 с.
23. Орлов А.И. Организационно-экономическое моделирование. Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. - 486 с.
24. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.
25. Орлов А.И. Новый подход к изучению устойчивости выводов в
математических моделях / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №06(100). С. 1 - 30. - IDA [article ID]: 1001406001. - Режим доступа:
http://ej.kubagro.ru/2014/06/pdf/01.pdf
26. Организация и планирование машиностроительного производства (производственный менеджмент). Учебник / К.А. Грачева, М.К. Захарова, Л.А.Одинцова и др.: Под ред. Ю.В. Скворцова, Л.А.Некрасова. - М.: Высшая школа,
2003. - 470 с.
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
23
References
1. Orlov A.I. Jekonometricheskaja podderzhka kontrollinga // Kontrolling. - 2002.
- №1. - S.42-53.
2. Orlov A.I. Jekonometrika. Izd. 3-e, ispr. i dopoln. - M.: Jekzamen, 2004. - 576 s.
3. Nejlor T. Mashinnye imitacionnye jeksperimenty s modeljami jekonomicheskih sistem. - M.: Mir, 1975. - 500 s.
4. Orlov A.I. Novaja paradigma analiza statisticheskih i jekspertnyh dannyh v zadachah jekonomiki i upravlenija / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №04(098). S. 105 - 125. -IDA [article ID]: 0981404008. - Rezhim dostupa: http://ej.kubagro.ru/2014/04/pdf/08.pdf
5. Orlov A.I. Novaja paradigma matematicheskih metodov jekonomiki // Jekonomicheskij analiz: teorija i praktika. - 2013. - № 36 (339). - S.25-30.
6. Orlov A.I. Sovremennoe sostojanie neparametricheskoj statistiki / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2015. - №02(106). S. 239 - 269. - IDA [article ID]: 1061502017. - Rezhim dostupa: http://ej.kubagro.ru/2015/02/pdf/17.pdf
7. Orlov A.I. Prikladnaja statistika. - M.: Jekzamen, 2006. - 672 s.
8. Orlov A.I. Novaja paradigma prikladnoj statistiki // Zavodskaja laboratorija. Diagnostika materialov. 2012. Tom 78. №1, chast' I. S.87-93
9. Orlov A.I. Osnovnye cherty novoj paradigmy matematicheskoj statistiki / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs].
- Krasnodar: KubGAU, 2013. - №06(090). S. 187 - 213. - IDA [article ID]: 0901306013. -Rezhim dostupa: http://ej.kubagro.ru/2013/06/pdf/13.pdf
10. Orlov A.I., Gus'kova E.A. Informacionnye sistemy upravlenija predprijatiem v reshenii zadach kontrollinga // Kontrolling. - 2003. - № 1(5). - S.52-59.
11. Orlov A.I., Orlova L.A. Primenenie jekonometricheskih metodov pri reshenii zadach kontrollinga // Kontrolling. - 2003. - №4(8). - S.50-54.
12. Orlov A.I., Orlova L.A. Jekonometrika v obuchenii kontrollerov // Kontrolling.
- 2004. - № (11). - S.68-73.
13. Celi i principy standartizacii. / Pod red. T. Sandersa. - M.: Izd-vo standartov, 1974. - 132 s.
14. Vseobshhee upravlenie kachestvom: Uchebnik dlja vuzov / O.P. Gludkin, N.M. Gorbunov, A.I. Gurov, Ju.V. Zorin: pod red. O.P. Gludkina. - M.: Gorjachaja linija -Telekom, 2001. - 600 s.
15. Orlov A.I. Sertifikacija i statisticheskie metody (obobshhajushhaja stat'ja) // Zavodskaja laboratorija. Diagnostika materialov. 1997. T.63. № 3. S. 55 - 62.
16. Dolan Je.Dzh., Lindsej D.E. Rynok: mikrojekonomicheskaja model'. - SPb: SP "Avtokomp", 1992. - 496 s.
17. Orlov A.I., Fal'ko S.G. Metodologija prepodavanija jekonometriki na jekonomicheskih fakul'tetah tehnicheskih vuzov // Mezhdunarodnaja nauchno-metodicheskaja konferencija "Metodologija prepodavanija statistiki, jekonometriki i jekonomiko-matematicheskih disciplin v jekonomicheskih vuzah" Tezisy dokladov (2-6 fevralja 1999 g., MJeSI). - M.: Mosk. gos. un-t jekonomiki, statistiki i informatiki, 1999. - S.108-109.
http://ej.kubagro.ru/2015/03/pdf/71.pdf
Научный журнал КубГАУ, №107(03), 2015 года
24
18. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie, jekonometrika i statistika v tehnicheskom universitete // Vestnik MGTU im. N.Je. Baumana. Ser. «Estestvennye nauki». 2012. №1. S. 106-118.
19. Orlov A.I. Statisticheskie pakety - instrumenty issledovatelja // Zavodskaja laboratorija. Diagnostika materialov. 2008. T.74. № 5. S. 76 - 78.
20. Orlov A.I. Komp'juterno-statisticheskie metody: sostojanie i perspektivy / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №09(103). S. 163 - 195. - IDA [article ID]: 1031409012. -Rezhim dostupa: http://ej.kubagro.ru/2014/09/pdf/12.pdf
21. Gorskij V.G., Gricenko A.A., Orlov A.I. Metod soglasovanija klasterizovannyh ranzhirovok // Avtomatika i telemehanika. 2000. №3. S.179 - 187.
22. Orlov A.I. Teorija prinjatija reshenij. - M.: Jekzamen, 2006. - 576 s.
23. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie. Ch.2. Jekspertnye ocenki. - M.: Izd-vo MGTU im. N.Je. Baumana, 2011. - 486 s.
24. Orlov A.I. Ustojchivost' v social'no-jekonomicheskih modeljah. - M.: Nauka, 1979. - 296 s.
25. Orlov A.I. Novyj podhod k izucheniju ustojchivosti vyvodov v matematicheskih modeljah / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №06(100). S. 1 - 30. - IDA [article ID]: 1001406001. - Rezhim dostupa: http://ej.kubagro.ru/2014/06/pdf/01.pdf
26. Organizacija i planirovanie mashinostroitel'nogo proizvodstva (proizvodstvennyj menedzhment). Uchebnik / K.A. Gracheva, M.K. Zaharova, L.A.Odincova i dr.: Pod red. Ju.V. Skvorcova, L.A.Nekrasova. - M.: Vysshaja shkola, 2003. - 470 s.
http://ej.kubagro.ru/2015/03/pdf/71.pdf
