АНАЛИЗ ПОКАЗАТЕЛЕЙ НАДЕЖНОСТИ, ЖИВУЧЕСТИ И ТЕЛЕМЕТРИИ БОРТОВОЙ АППАРАТУРЫ МАЛЫХ КОСМИЧЕСКИХ АППАРАТОВ
Скобцов В.Ю.1, Крутиков С.В.2, Ким Д.С.3, Новоселова Н.А.4, Архипов В.И.5, Кульбак Л.И.6, Николаеня Е.Д.7, Лапицкая Н.В.8, Вакульчик Е.Н.9,Саксонов Р.В.10
От редакции: Публикуя статью наших белорусских коллег, мы хотим подчеркнуть, что статья родилась в результате совместной работы ученых двух стран и отражает Важный результат крупного проекта Союзного государства. Мы и впредь намерены уделять большое внимание работам наших коллег из Белоруссии.
Цель статьи: исследование и разработка методик, алгоритмов и программных средств оценивания показателей надежности, живучести и интеллектуального анализа данных телеметрии бортовой аппаратуры малых космических аппаратов.
Метод исследования: разработанные программные средства и методики базируются на методах и алгоритмах теории надежности, теории вероятности и математической статистики, Булевой алгебры, машинного обучения и обработки изображений.
Полученные результаты: в статье представлены решения актуальных задач оценивания и анализа показателей надежности и живучести бортовой аппаратуры малых космических аппаратов как элементов их безопасности. Представлено решение задачи интеллектуального анализа данных телеметрии бортовой аппаратуры малых космических аппаратов с целью выделения состояний ее функционирования и анализа работоспособности. Разработан комплекс программных средств и методик для оценивания и анализа показателей надежности, живучести и телеметрии бортовой аппаратуры малых космических аппаратов. В состав разработанного комплекса входят: методика и программный модуль интервальной оценки показателей надежности, интегрированный программный модуль визуализации структурных схем надежности, методика и программный модуль интеллектуального анализа данных телеметрии, интегрированный программный модуль 2-D и 3-D визуализации результатов анализа данных, методика и программный модуль логико-вероятностной оценки и анализа показателей надежности и живучести. Программный комплекс реализован в десктоп- и веб-версиях и имеет гибкую сервис-ориентированную архитектуру.
Ключевые слова комплекс программных средств и методик, программный модуль, программный компонент, сервис-ориентированная архитектура, интеллектуальный анализ данных, данные телеметрии, карта Кохонена, обработка изображений, логико-вероятностный метод, интервальная оценка показателей надежности
DOI: 10.21681/2311-3456-2018-4-54-69
1 Скобцов Вадим Юрьевич, кандидат технических наук, доцент, ведущий научный сотрудник, Объединенный институт проблем информатики НАН Беларуси, г. Минск, Беларусь. E- mail: [email protected]
2 Кругликов Сергей Владимирович, доктор военных наук, профессор, заместитель генерального директора по научной и инновационной работе, Объединенный институт проблем информатики НАН Беларуси, Минск, Беларусь. E-mail: [email protected]
3 Ким Дмитрий Сергеевич, инженер, Объединенный институт проблем информатики НАН Беларуси, Минск, Беларусь. E-mail: [email protected]
4 Новоселова Наталья Анатольевна, кандидат технических наук, ведущий научный сотрудник, Объединенный институт проблем информатики НАН Беларуси, г Минск, Беларусь. E-mail: [email protected]
5 Архипов Вячеслав Игоревич, научный сотрудник, Объединенный институт проблем информатики НАН Беларуси, Минск, Беларусь. E-mail: [email protected]
6 Кульбак Леонид Игоревич, кандидат технических наук, ведущий научный сотрудник, Объединенный институт проблем информатики НАН Беларуси, г. Минск, Беларусь. E-mail: [email protected]
7 Николаеня Евгений Дмитриевич, младший научный сотрудник, Объединенный институт проблем информатики НАН Беларуси, Минск, Беларусь. E-mail: [email protected]
8 Лапицкая Наталья Владимировна, кандидат технических наук, доцент, заведующая кафедрой, Белорусский государственный университет информатики и радиоэлектроники, Минск, Беларусь, E-mail: [email protected]
9 Вакульчик Евгений Николаевич, аспирант, Белорусский государственный университет информатики и радиоэлектроники, г.Минск, Беларусь. E-mail: [email protected]
10 Саксонов Роман Владимирович, ведущий инженер, Научно-инженерное республиканское унитарное предприятие «Геоинформационные системы», Минск, Беларусь. E-mail: [email protected]
Введение. Одной из важнейших задач на всех этапах жизненного цикла малых космических аппаратов (МКА) является анализ и оценка показателей надежности, живучести и телеметрии бортовой аппаратуры (БА) МКА с точки зрения обеспечения их безопасности и надежности. Их актуальность обусловлена прежде всего тем, что одной из основных причин потерь МКА являются отказы, сбои и некорректная работа систем БА МКА.
В современных условиях для решения перечисленных задач, обеспечения требуемой степени автономности, качества и оперативности управления такими сложными объектами как МКА и их БА необходимо выполнить комплексную автоматизацию и интеллектуализацию процессов оценивания и многомодельного анализа показателей надежности, живучести и телеметрии БА МКА в различных условиях обстановки. Однако, в большинстве случаев на практике автоматизация выполнена, в лучшем случае, лишь частично, и многое делается зачастую вручную, базируясь на эвристических правилах [1,2].
С целью решения данных актуальных задач, в рамках программы Союзного государства «Мониторинг СГ» разработан экспериментальный образец комплекса программных средств и методик для оценивания и анализа показателей надежности и живучести БА МКА и интеллектуального анализа данных телеметрии БА МКА.
Состав и функции комплекса программных средств и методик. Разработанный комплекс программно-методического обеспечения позволяет выполнять многомодельное и многокритериальное оценивание и анализ показателей надежности, живучести и работоспособности БА МКА на основе учета структурных и функциональных свойств БА МКА, использования предложенных методов интеллектуального анализа данных функционирования (телеметрии) БА МКА, методик
и технологий автоматизированного оценивания и прогнозирования параметров безопасного состояния БА МКА, учета тепломеханических воздействий космического пространства.
В состав разработанного комплекса входят (рис.1):
- программный модуль и методика интеллектуального анализа данных (ПМ ИАД) телеметрии БА МКА;
- программный модуль и методика логико-вероятностной оценки показателей надежности (ПМ ЛВОН) БА МКА;
- программный модуль и методика интервальной оценки показателей надежности (ПМ ИОН) БА МКА;
- вспомогательные программные модули визуализации полученных результатов, импорта/экспорта хранения данных.
Комплекс реализован в двух версиях: десктоп-и web-версии (рис.1). Десктоп-версия предназначена для его использования пользователем локального компьютера. При разработке комплекса применена сервис-ориентированная архитектура: алгоритмическая часть комплекса реализована как набор консольных приложений, которые затем «обернуты» в десктоп-и web-оболочки, реализуя таким образом соответствующие сервисы. Web-версия предназначена для удаленной работы пользователя через веб-интерфейс и интегрирована как распределенный белорусский сегмент в программно-моделирующий комплекс российского сегмента СПИИРАН [3,4].
Основной функционал комплекса:
- ввод модельного представления систем БА МКА в табличном виде и с помощью графического редактора в виде структурных схем надежности или схем функциональной целостности;
- выполнение интервальной и точечной расчетной оценки вероятности безотказной работы и интенсивно-
Тонки* клиент (АРМ пользователя)
+
Сер&ер л рююлиенйн
Сервиснаяши мл
ВРЕкаДОрин
сообщениями
Десктоп оболочка и интерфейс комплекса
приршиньн ко«пл«с лоруккяо апненп
"Ойу-1^ 1 >
п
□
модуль I Реиррмровли«-* недель лгнкчсскс« ссаойм*е* модуль '
модель »Структур*» рсвдфигдадан
веб-оболочка и и нгерфе йс комплекса
модель
модель *К*ймн«»ъ * ир*тнчмостъ сгпукф»
Методика« ПМ интервальной оценки
показателей надежности Б А МКА. ПМ визуализаций структурны л с х ем надежности
Методика и ПМ интеллектуального анализа данных БА МКА, ПМ визуализации ре зул ьтатов л нал и за данных
Методикам ПМ логико- вероятное т ной оценки показателей надежности БА МКА
Программный модуль им по рта/экспорта данных телеметрии
Рис.1 Структурно-функциональная схема комплекса и его распределенной интеграции с партнерским российским комплексом
Рис.2 Структурно-функциональная схема программного модуля интеллектуального анализа данных
сти отказов систем БА МКА на основе модели структурных схем надежности для разных типов резервирования и режимов работы;
- визуализации структурных схем надежности систем БА МКА;
- на основе модифицированного логико-вероятностного метода расчет точечного значения показателя надежности, в том числе, с учетом влияния тепломеха-
нических воздействии на элементы анализируемом системы;
- анализ надежности систем БА МКА на основе модифицированного логико-вероятностного метода для серии значений показателей надежности функциональных элементов системы из заданного интервала с заданным шагом, в том числе, с учетом влияния тепломеханических воздействий на элементы систем БА МКА
и возможностью фиксации показателей надежности отдельных элементов;
- анализ живучести систем БА МКА на основе модифицированного логико-вероятностного метода для полных и частичных отказов путем случайной генерации заданного числа пораженных элементов в течение серии экспериментов, в том числе, с учетом влияния тепломеханических воздействий на элементы систем БА МКА и возможностью удаления отдельных элементов из-под влияния разрушающих воздействий;
- визуализация, вывод и сохранение результатов оценок показателей надежности и живучести;
- интеллектуальный анализ данных о состоянии систем БА МКА на основе данных телеметрии путем предобработки данных, выделения потенциальных состояний анализируемых устройств с помощью кластеризации/классификации с использованием ней-росетевого или динамического потокового подходов, прогнозной оценки среднего количества отказов по состояниям устройства и всему временному ряду телеметрии;
- 2ЧЭ и 3ЧЭ визуализации полученных результатов;
- импорт/экспорт и хранение данных телеметрии отдельных систем БА МКА.
Программный модуль интеллектуального анализа данных телеметрии БА МКА. Большое количество информации о функционировании БА МКА в виде
данных телеметрии может быть эффективно использовано для совершенствования процесса оценки надежности и работоспособности БА и ее отдельных компонент. В связи с тем, что данные телеметрии БА МКА представляют собой разнородные нерегулярные многомерные данные, актуальным является применение и разработка методик и алгоритмов, которые позволяют анализировать такого рода данные с возможностью извлечения из них полезной информации и последующего построения с их использованием на основе методов анализа данных и машинного обучения кластерных, классификационных и прогностических моделей для оценки состояния работоспособности БА МКА, как важной характеристики надежности и безопасности БА МКА.
Программный модуль и методика интеллектуального анализа данных предназначены для анализа данных о состоянии-функционировании БА МКА на основе данных телеметрии: предобработки данных телеметрии, отбора существенных признаков, выделения потенциальных состояний анализируемых устройств путем кластеризации/классификации и прогнозной оценки среднего количества отказов/сбоев по кластерам-состояниям устройства и всему временному ряду телеметрии [5].
ПМ ИАД о состоянии БА МКА представляет собой многокомпонентную структуру и включает группу компонентов нейросетевого анализа, компонент отбора существенных признаков, компонент потоковой динами-
Рис.3. Результат работы компонента отбора признаков с визуализацией
ческой кластеризации и компонент прогнозной оценки среднего количества отказов/сбоев [5].
На рисунке 2 приводится структурно-функциональная схема программного модуля интеллектуального анализа данных о состоянии БА МКА.
ПМ ИАД можно условно разделить на три функциональных блока, состоящих из множества компонентов, выполняющих определенные функции в процессе анализа данных.
1. Блок предобработки данных включает в себя:
- Компонент предобработки данных, который позволяет с использованием генетического алгоритма (ГА) и многокритериальной оптимизации отбирать информативные признаки, минимизируя пространство поиска для проведения последующего кластерного анализа. В качестве базового ГА многокритериальной оптимизации используется алгоритм PESA-II [6].
Разработанный алгоритм отбора признаков решает задачу двухкритериальной оптимизации с использованием ГА. Он позволяет варьировать основной критерий оптимизации, используемый для оценки подмножеств признаков. В качестве второго критерия оптимизации используется мощность подмножества признаков du. Для оценки каждой особи ГА выполняется кластеризация объектов данных с использованием алгоритма k-средних. В качестве основного критерия оптимизации можно использовать показатели оценки качества разбиения объектов данных: ширину контура S (SilhouetteWidth) [7], нормализованный показатель DB-Index I*DB (индекс Дэвида-Болдуина) [8], показатель энтропии расстояний между объектами [9].
Результатом работы модуля является множество отобранных признаков в виде бинарного характеристического вектора, а также визуализация оценочных функций (рис.3).
- Компонент предобработки данных, формирующий таблицу векторов, подготовленных на основе данных телеметрии, необходимых для работы группы компонентов
Рис.4. Компонент предобработки данных телеметрии с визуализацией его результатов
Рис.5 Самоорганизующаяся карта Кохонена
кластеризации/классификации нейросетевого анализа данных [5]. С одной стороны выполняется сглаживание шумов, с другой стороны усиление и стабилизация переходов, свидетельствующих об изменении состояния системы. Экспериментально установлено, что данные, прошедшие обработку данным компонентом, проявляют большую стабильность с точки зрения непрерывного пребывания в определённых кластерах: увеличивается среднее время непрерывного пребывания в кластере, снижается вероятность перехода в другой кластер.
К каждому каналу данных может быть применено заданное пользователем правило предобработки. Как результат имеем предобработанные вектора данных телеметрии. Реализуются следующие функции преобразования каналов входных данных (рис.4):
- перенос без изменений (1\Ю1\ЮН);
- последнее ненулевое изменение, сглаженное фильтром Баттерворта 1-го порядка ^ТСН);
- абсолютное значение второй производной сигнала (SECDR);
- возведение в степень (POW);
- среднее значение по набору нескольких локальных минимумов приращений исходных данных (INF);
- среднее значение по набору нескольких локальных максимумов приращений исходных данных (SUP).
2. Блок кластерного анализа включает в себя:
- Компоненты нейросетевого кластерного анализа: построения карты Кохонена, кластеризации пространства и набора данных по карте Кохонена [5]. Они выполняют кластеризацию/классификацию предобрабо-танных данных телеметрии анализируемого устройства на основе применения самоорганизующейся карты Кохонена [10], кластеризации визуального пространства карты межнейронных расстояний методами обработки изображений и кластеризации/классификации набора данных.
Самоорганизующаяся карта Кохонена, представляет собой однослойную нейронную сеть, способную обучаться без учителя (рис.5) [10]. В процессе обработки поступающих на вход данных при обучении, сеть настраивается таким образом, что нейроны, реагирующие на близкие образцы данных, меняют свои веса так, что тоже становятся близкими с точки зрения некоторой заданной метрики. В разработанном компоненте для построения карты Кохонена основной метрикой является евклидова, но реализованы также метрики Махаланобиса и корреляционная.
Рис.6 Визуальная карта распределения межнейронных расстояний: 1 - основные кластеры, 2 - субкластеры, 3 - выбросы данных
По предобработанным нормализованным данным телеметрии строится карта Кохонена с заданным размером КхК пикселей. Для получения меток кластеров анализируемых данных телеметрии используется изображение карты межнейронных расстояний, каждая
г) Д) е)
Рис.7 Этапы обработки изображения карты межнейронных расстояний с целью выделения сегментов -кластеров/классов: а) изображение карты межнейронных расстояний, б) результат пороговой сегментации карты, в) результат фильтрации маски пороговой сегментации карты, г) результат выделения связных компонент фильтрованной маски пороговой сегментации карты, д) фильтрованная маска пороговой сегментации, наложенная на карту межнейронных расстояний, е) кластерные метки для всех точек карты.
Се1метэиия каргы Кохонен,.. — 1_1 X
и Сегментация карты Кспонена | Кластеризация карты Кном * ^
^ КоЬопеп СШ Могр1гаС1ия:(11падсСЬагО Программный модуль визуализации данных
Файл т Настрой» т Помощь ч
■ в I ^ 9 © © <9 в I I®
б)
карте нейронных расстояний
Г* Г
Рис.8 Результаты работы компонентов кластеризации пространства и набора данных по карте Кохонена с их визуализацией
а)
точка которой соответствует максимальному расстоянию между соответствующим нейроном и его четырьмя соседями в построенной карте Кохонена, и список координат в пространстве карты Кохонена для точек анализируемых данных. Кластерная структура данных хорошо просматривается на изображении карты межнейронных расстояний размером 200x200 (Рис.6). Таким образом, сеть обобщает предобработанные данные телеметрии, выделяя в пространстве данных кластерную структуру.
Описываемые алгоритмы будут проиллюстрированы на примере карты Кохонена размером 200 на 200 точек. На рисунке 7 приведены исходная карта межнейронных расстояний для тестового набора данных (рис.7а) и цепочка ее преобразований (рис.7б-е).
Для поиска внутренних областей кластеров используется процедура пороговой сегментации-кластеризации [11]: каждая точка карты межнейронных расстояний сравнивается с некоторым пороговым значением, точки, значения которых ниже порога помечаются флагом 1, остальные - флагом 0. Набор точек, соответствующих точкам карты межнейронных расстояний с маркировкой 0 или 1 представляет собой бинарное множество данных - результат пороговой сегментации, так называемая маска пороговой сегментации (рис.7б).
Полученная маска пороговой сегментации подвергается нелинейной фильтрации: для всех точек маски, не примыкающих к границам, рассматривается окрестность точек, координаты которых не более чем на 1 отличаются от координат рассматриваемой точки. Значение рассматриваемой точки заменяется на значение медианы значений точек окрестности. Процедура проводится для эффективного устранения случайных выбросов на маске пороговой сегментации (рис.7.в).
Следующим этапом метода является автоматическое маркирование точек обработанной маски пороговой сегментации метками кластеров. На этом же этапе автоматически вычисляется количество кластеров. Со-
седние точки обработанной маски, имеющие значение 1, получают одинаковую метку кластера. Точки, имеющие значение 1, между которыми нельзя построить путь, проходящий только по маркированным точкам, принадлежат к разным связным компонентам и получают разные метки кластеров. Для выделения связных компонент используется метод растущих регионов [12,13], использующий структуру данных «очередь». На рисунке 7г) приведены множества кластерных меток для внутренних областей кластеров тестового набора данных.
Далее необходимо распространить эти метки на все точки карты, с учётом вероятных границ кластеров. На рисунке 7д) приведена фильтрованная маска пороговой сегментации, наложенная на карту межнейронных расстояний. Высокие значения яркостей карты расстояний определяют вероятные границы кластеров, маркированные внутренние области - метки кластеров. Распространение меток на остальные точки осуществляется с использованием процедуры водораздела [13]. Метки распространяются на соседние точки с учётом не только соседства, но и яркостей карты межнейронных расстояний. В первую очередь маркируются менее яркие точки. Перед выполнением процедуры водораздела, значения яркостей квантуются. В рассматриваемых примерах использовалось 1000 уровней квантования. Процедура водораздела схожа с процедурой растущих регионов. Вместо одной очереди используется упорядоченный набор очередей, каждая из которых соответствует квантованному уровню яркости карты межнейронных расстояний. На рисунке 7е) приведен результат применения всех этапов метода к карте межнейронных расстояний тестового набора данных.
Каждая точка предобработанного набора данных после выполнения алгоритма кластеризации - обучения карты Кохонена имеет релевантную точку карты и получает соответствующую ей кластерную метку. Результаты работы компонентов кластеризации пространства и набора данных по карте Кохонена с их визуализацией приведены на рисунке 8. На рис.8а)
♦ 5С0Ь'1 - Ц'ЕВ-шпгрф!
Рис.9 Результат работы компонента динамиче ской кластеризации и 3^ визуализация класте■ ризации данных телеметрии
в нижней левой ячейке приводится исходная карта межнейронных расстояний, в правой - она же после применения обработки и выделения сегментов-кластеров. На рис.8б) приводится пример визуализации результатов кластеризации, реализована также визуализация.
Этап кластеризации является при этом - этапом обучения на обучающей выборке данных. При анализе тестовых данных полученные сегменты-кластера рассматриваются как классы и процесс распределения векторов предобработанной телеметрии по построенным кластерам становится процессом классификации. Соответственно этапы построения карты Кохонена и выделения кластеров-сегментов не выполняются, так как используются структуры, полученные на этапе обучения.
- Компонент потоковой динамической кластеризации реализует в модуле ИАД альтернативный алгоритм кластерного анализа, основанный на двухуровневом подходе (онлайн/офлайн) для проведения итерационной, микро- или макрокластеризации данных [5,14,15].
Для таких объемов данных телеметрии как сотни тысяч векторов, данные могут быть представлены как поток, который в свою очередь может быть формализован как упорядоченная последовательность объектов или точек данных Y=(y:L,y2,y3,...), где индексы означают последовательность поступления объектов данных.
Для анализа состояний БА МКА применен подход [5,14,15], который основан на проведении двухуровневой кластеризации: онлайн кластеризация с периодическим сохранением детализированных статистических данных в форме микрокластеров и офлайн макрокластеризация, использующая сохраненные статистические данные анализируемого потока. На основании сохраненной статистической информации в микрокластерах восстанавливается глобальная кластерная структура данных путем построения заданного числа макрокластеров. На рисунке 9 приводятся интерфейс
и результаты работы компонента потоковой динамической кластеризации.
Эксперименты на некоторых системах БА МКА показали, что выделяемые кластера-классы телеметрии характеризуют их технические или функциональные состояния, например состояния циклограмм.
3. Блок прогнозирования включает в себя компонент прогнозирования, который выполняет оценку прогнозных значений среднего количества отказов или недостоверных показаний на заданный период времени для выделенных кластеров-состояний и всего набора данных как индикатора работоспособности анализируемого оборудования БА МКА [5].
Алгоритм прогнозирования состоит из двух этапов. На первом этапе алгоритма формируется список значений количества отказов по всем возможным периодам, определённым на заданной последовательности данных. На следующем этапе вычисляются значения среднего количества отказов, как по полному списку, так и по подспискам с учётом значений меток кластеров/классов. Псевдокод алгоритма приводится в [5].
Компонент прогнозирования работает в двух режимах: обучения и тестирования. Первый этап - это этап обучения, в котором предварительно необходимо выполнить работу всех компонентов нейросетевого анализа данных и получить результаты расчета среднего количества отказов по всей выборке и по кластерам-состояниям за заданный период времени (рис.10, левый столбец). Или же можно перейти на вкладку автоматического режима выполнить всю цепочку сразу, не меняя параметров.
Второй этап - это тестовый этап, в котором необходимо отключить режим обучения и выполнить для соответствующей тестовой выборки компонент предобработки данных, компонент кластеризации/классификации набора данных на сегментированной карте межнейронных расстояний соответствующей обучающей выборки, компонент расчета прогнозного значения среднего количества отказов. Таким образом классифицируется предобработанный набор тестовых данных
' Kohonen - WEB-пнтерфепс компонента модуля интеллектуального анализа дан^ъИ£мфаж™и |Р Обучение | Задача №319 | | >
dataPrep kohSom morphoClust makeLabel calcParams
AM
Источник данных UJjmülGBIEIiliZi
Распгканне режимов работы ЩЗВВИШЗаЦйЩВ!
Количество точек данных Период времени
Результаты расчето
Обучение Тест №1 Оценка №1
LABEL №0 LABEL №0 LABEL №0
159105 171001 0.999862
2.39396 2.31221
5.23207 5.8593
LABEL №1 LABEL №1 LABEL №1
198 63 8839 0.998276
2.61602 2.22208
5.47589 1 . 93961
LABEL №2 LABEL №2 LABEL №2
56022 150012 0.999691
2.01592 2.93539
4 .295SB 6.12228
LABEL №3 LABEL №3 LABEL №3
11 0 NaN
2 2.81221
0 5.8593
LABEL №4 LABEL №4 LABEL №4
15575 0 NaN
2.40732 2.81221
3.57291 5.8593
LABEL №5 LABEL №5 LABEL №5
32298 169 0.994918
3 .23133 3 .36095
6.71271 1 .56701
LABEL №6 LABEL №6 LABEL №6
2S351 11895 0.999937
1.63493 1 . 66927
3.13459 4.00337
LABEL №7 LABEL №7 LABEL №7
n 1 Г.
Загрузить из файла Сохранить в файл Запустить Отобразить
© Р1ШИ HAH Беларуси. Все права защищены
Рис.10 Результат работы компонента прогнозирования в обучающем и тестовом режимах
на обученной карте Кохонена и оценивается среднее число отказов/сбоев по классам и по всей выборке. Действия также можно выполнить покомпонентно или в автоматическом режиме. Расчеты на этапах обучения и теста необходимо выполнять для равного периода прогнозирования.
В результате работы оцениваются прогнозные значения среднего числа отказов/сбоев для тестовой выборки (рис.10, второй столбец). В третьем столбце выводится оценка корректности рассчитанных прогнозных значений в виде доверительной вероятности. Эксперименты на реальных данных телеметрии БА МКА размерностью сотни тысяч векторов показали уровень доверительной вероятности не ниже 0.9.
В ПМ ИАД интегрирован программный модуль 2^ и -3D визуализации результатов анализа данных [5], примеры визуализации приведены на рисунках 3,4,8,9.
Программный модуль логико-вероятностной оценки показателей надежности. Программный модуль и методика логико-вероятностной оценки показателей надежности (ПМ ЛВОН) предназначены для оценки надежности и живучести системы на основании схемы функциональной целостности (ло-
гической схемы работоспособности системы) с возможностью учета влияния тепломеханических воздействий среды [16].
Разработанные ПМ ЛВОН и методика основаны на общем логико-вероятностного методе (ОЛВМ) и моделях [17]. Логико-вероятностный метод позволяет выявить наиболее критичные комбинации поражения элементов системы, защита которых, предотвращает попадание системы в опасное состояние. Таким образом, предоставляется возможность объективно установить приоритеты в разработке соответствующих систем защиты анализируемого оборудования.
Логико-вероятностный подход для оценки надежности и живучести системы предполагает выполнение следующих этапов [16,17]:
- структурно-логическая постановка задачи - построение схемы функциональной целостности (СФЦ) анализируемой системы как логической схемы работоспособности системы (рис.11,13);
- логическое моделирование - на основе СФЦ построение логической функции работоспособности системы (ФРС) YF=Yf({X},i=1,2,...,H), реализующей логический критерий функционирования системы как функцию независимых логических переменных элементов системы;
Рис.11 Интерфейс ПМ ЛВОН, Рис.12 Интерфейс ПМ ЛВОН, окно расчетов.
ввод схемы функциональной целостности. Десктоп-версия
Десктоп-версия
Рис. 13 Web-версия интерфейса объединяет в себе редактор СФЦ и окно расчетов
- вероятностное моделирование и оценка показателей надёжности и живучести - построение многочлена расчетной вероятностной функции системы Р=РДр^},1=1,2,...,Н) как вероятностного закона безотказной работы системы, все состояния работоспособности которой представлены с помощью логической ФРС, при этом значение расчетной вероятности безотказной работы системы является базовым индикатором ее надежности и живучести.
В процессе программной реализации построение многочленов логической ФРС и вероятностной функции для систем с большим количеством структурных элементов и связей БА МКА затрудняется из-за сложности процесса автоматического аналитического моделирования, применяемого в ОЛВМ [17]. Поэтому с целью упрощения и более эффективной реализации нами предложены модификации классического ОЛВМ.
Последователь-ное соединение (дизъюнкция) Последователь-ное соединение (дизъюнкция) оеъо Последовательное соединение (конъюнкция
Параллельное соединение (дизъюнкция) ( ГУ [в Параллельное соединение (конъюнкция) 5е
Рис.14 Основные типы соединения в СФЦ
Рис.15 Анализ живучести для полных отказов, число экспериментов 50
Рис.16 Анализ живучести для частичных отказов, Р1 = 0.5, число экспериментов 50
Таблица 1.
Сравнение результатов вычислений с ПК Арбитр, анализ надежности
Вероятность безотказной работы элементов Аппаратура системы навигации БКУ Мультиспектральная система Система ориентации и стабилизации
Pc, ПМ ЛВОН Pc, ПК «Арбитр» Pc, ПМ ЛВОН Pc, ПК «Арбитр» Pc, ПМ ЛВОН Pc, ПК «Арбитр»
0,60 0,027546 0,027546 0,064524 0,064524 0,090334 0,090334
0,70 0,087048 0,087048 0,164648 0,164648 0,214043 0,214043
0,80 0,228170 0,228170 0,347892 0,347892 0,417471 0,417471
0,90 0,512256 0,512256 0,630247 0,630247 0,693272 0,693272
Во-первых, мы модифицировали граф СФЦ: в дополнение к связям и структурным вершинам были введены логические вершины ADN и OR (рис.11,13,14). Это позволяет четко видеть системы с резервированием и без, а также данные логические вершины удобнее использовать в алгоритмах расчета вероятности безотказной работы и живучести систем.
Граф СФЦ с учетом сделанной модификации будем проектировать таким образом, чтобы структурные элементы коммутировали между собой только через логические элементы. Как правило, схема создается на базе четырех логических конструкций (рис.14).
Введение данных логических вершин не изменяет значения вероятности безотказной работы систем при расчете. Для создания более сложных структур логические элементы можно коммутировать между собой в необходимом количестве.
Во-вторых, мы не выполняем явного построения полиномов логической ФРС и вероятностной функции.
Рис.17 Интерфейс ПМ ИОН БА МКА, десктоп-версия
Они строятся неявно в процессе обработки графа СФЦ и расчета показателей надежности, и живучести. Для перемещения по графу СФЦ используется алгоритмы поиска в ширину и в глубину [16]. На каждом этапе для каждой структурной вершины мы пересчитываем значения вероятности безотказной работы и живучести и передаем их в следующие вершины. Таким образом, каждая вершина содержит информацию о расчетах на всех предыдущих вершинах. И всякий раз, попадая в любую вершину, мы всегда можем использовать значения, полученные для предыдущих вершин. Алгоритм заканчивает свою работу, когда доходит до всех конечных вершин [16].
ПМ ЛВОН, основанный на ОЛВМ [17] и предлагаемых модификациях, был разработан в двух версиях, десктоп и web (рис.11-13), и реализует следующие функции для решения задачи оценки надежности и живучести систем БА МКА [16]:
- графический ввод СФЦ анализируемой системы БА МКА;
блоки ССН
Имя Ти
1 Резервированная цепочка Ц2 2
2 Резервированная цепочка Ц1 1
3 Антенна GPS/Глонасс О
4 Электромагнит MTR- 30S О
5 приемник GPS/глс-нзсс О
Лн,Ю~' ~\f4. Лв.'Ю"* l/ч. - Резервированная цепочка— 0.9
--■Резервированная цепочка— 0.8
fe
Эя1: \н=1.60-10-М/ч. \в=1.Ё0Ю~*1/ч ЭА2: ХН=1.80.10"*1/Ч. Х(=1.901<П/Ч ЭлЗ: Хн= 2.70-10Ч 1/ч. ХегЗ.ЗО-№*1/ч ЭМ Хн=4.50-10"* 1/ч. Хв=5.»Ю"*1/ч Эя5: Лн=4.50-10-*1/ч. Хв=5.5010"1/ч
Рис.18 Табличное представление ССН
О Модуль визуализации ССН Корневой элемент 'ССН2
ССН1
- Б1 Антенна GPS/Гпонасс -- Б2 Электроиаг»1т MTR - 305 -
«
Разукрупняемый элемент - ССН. Наименование "ССН1"
Рис.19 - Визуализация структуры ССН
- расчет точечного значения показателя надежности (вероятности безотказной работы);
- анализ надежности систем БА МКА для серии значений показателей надежности элементов системы из заданного интервала с заданным шагом (рис.12);
- анализ живучести систем БА МКА для полных и частичных отказов путем случайной генерации заданного числа пораженных элементов в течение серии экспериментов (число экспериментов задается), в случае полного отказа вероятность безотказной работы пораженных элементов равна 0, частичного отказа - вероятность безотказной работы снижается до значения р~<р. (рис.13,15,16);
- учет влияния тепломеханических воздействий на элементы систем БА МКА и возможность фиксации показателей надежности отдельных элементов в процессе анализа надежности и живучести;
- построение графиков полученных зависимостей (рис.12,13,15,16);
анализ показывает совпадение результатов (табл.1), более подробное сравнение и описание ПМ ЛВОН и методики можно найти в [16].
Программный модуль интервальной оценки показателей надежности БА МКА. В результате оценки надежности объекта, как правило, определяются его расчетные показатели надежности в виде единичного числового значения. Исходными данными для расчета надежности объекта в классической постановке, как правило, являются интенсивности отказов неразукрупняемых элементов объекта. В оценке надежности используется лишь единичное значение интенсивности отказов, а интервал значений интенсивности отказов и других показателей надежности остается невостребованным. В тоже время интервальная оценка позволяет более точно показать, как может быть вероятностно распределен показатель надежности, дает возможность построения модели по ограниченным данным. Таким образом, актуальным
Рис.20 Web-интерфейс ПМ ИОН БА МКА
Сравнение результатов вычислений в ручном и автоматическом режимах
Таблица 2.
Тип расчетов Результаты ручного пошагового выполнения расчетов Интенсивность отказов Значение 10-81/ч Вероятность безотказной работы
нижнее ЛН верхнее ЛВ нижняя РН верхняя РВ
14.417264 17.659219 0.992012 0.993472
Результаты использования ПМ ИО ПН 14.417264 17.659219 0.99201247 0.99347206
- вывод и сохранение результатов оценок показателей надежности, и анализа показателей надежности и живучести.
Проверка результатов разработанного ПМ ЛВОН выполнена путем сравнения полученных расчетных значений показателей надежности и живучести для некоторых систем БА МКА с результатами ПК «Арбитр» (аттестован «Ростехнадзором» в 2007 г.). Сравнительный
является разработка методики и программного модуля интервальной оценки показателей надежности (ПМ ИОН) БА МКА [18-20].
Методика и ПМ ИОН БА МКА, (Рис.17-20) позволяют выполнять интервальную и точечную расчетные оценки показателей надежности систем БА МКА для разных типов резервирования и режимов работы элементов БА. Базируются на классической модели
надежности систем БА в виде структурных схем надежности (ССН) и разработанных алгоритмах интервальной и граничной оценки показателей надежности. Как исходные данные в ПМ ИОН используются интервальные значения интенсивностей отказов неразукрупняемых элементов систем БА. В данном модуле также обеспечивается графическое и табличное представление и ввод систем БА МКА в виде ССН (Рис.17-20).
Таким образом, ПМ ИОН БА МКА и соответствующая методика позволяют проанализировать надежность систем БА МКА с альтернативной по отношению ПМ ЛВОН точки зрения. С одной стороны применяется классическая по стандартам надежности модель ССН, с другой реализована возможность оценки показателей надежности не только точечно, но и интервально [18-20]. Проверка корректности вычислений ПМ ИОН для системы управления движением и навигацией приведена в таблице 2 и показывает совпадение результатов.
Заключение. Разработанный комплекс программных средств и методик имеет следующие основные преимущества и особенности:
Решение задач оценивания и анализа надежности, живучести, работоспособности и данных телеметрии БА МКА основано на мультимодельном подходе, и представлено несколькими вариантами методической и программной реализации, что позволяет разносторонне проработать поставленные задачи.
Комплекс имеет две версии реализации десктоп-и web-, что позволяет применять его на локальных компьютерах и удаленно через web-интерфейс.
Применение модульной и сервис-ориентированной архитектуры обеспечивает возможность дальнейшего развития и адаптации комплекса методик и программных средств.
Программные модули комплекса тестировались на обработанных реальных данных телеметрии и некоторых системах БА МКА. Результаты тестирования показали достаточно высокую точность расчетов.
Рецензент: Цирлов Валентин Леонидович, кандидат технических наук, доцент Московского государственного технического университета им. Н.Э. Баумана, г. Москва, Россия. E-mail: [email protected]
Литература
1 Охтилев М. Ю., Мустафин Н. Г., Миллер В. Е., Соколов Б. В. Концепция проактивного управления сложными объектами: теоретические и технологические основы // Известия вузов. Приборостроение. 2014. Том 57. №11. С.7-14.
2 Васильев С.Н., Васильев В.И., Глумов В.М., Данилин О.Е., Евдокименков В.Н., Жернаков С.В., Ильясов Б.Г., Красильщиков М.Н., Мунасыпов Р.А., Петунин В.И., Рутковский В.Ю., Саитова Г.А., Суханов В.М., Филимонов А.Б., Филимонов Н.Б., Фрид А.И. Проблемы управления сложными динамическими объектами авиационной и космической техники: монография. М.: Машиностроение, 2015.
3 Зеленцов В.А., Потрясаев С.А., Соколов Б.В., Скобцов В.Ю., Ким Д.С., Вакульчик Е.Н., Николаеня Е.Д., Новоселова Н.В., Саксонов Р.В. Распределенный программный комплекс для оценивания и многокритериального анализа показателей надежности и живучести бортовой аппаратуры малых космических аппаратов: российский и белорусский сегменты // Материалы Седьмого Белорусского космического конгресса. - Т.2, 2017. - С.171-174.
4 Зеленцов В.А., Потрясаев С.А., Соколов Б.В., Скобцов В.Ю., Ким Д.С., Вакульчик Е.Н., Николаеня Е.Д., Новоселова Н.В., Саксонов Р.В. Распределенный программный комплекс для оценивания и анализа показателей надежности и живучести бортовой аппаратуры малых космических аппаратов // Тезисы докладов Шестой международной научно-технической конференции «Актуальные проблемы создания космических систем дистанционного зондирования Земли». - Москва: АО «Корпорация «ВНИИЭМ», 2018. - 146 с.
5 V.Skobtsov, N.Novoselova, V.Arhipov, S.Potryasaev. Intelligent Telemetry Data Analysis of Small Satellites // Proceedings of the 6th Computer Science On-line Conference 2017 (CS0C2017), Vol. 1 in Advances in Intelligent Systems and Computing (Eds. Janusz Kacprzyk et al.). - Springer International Publishing Switzerland, 2017. -Vol.2 (574), 2017. - P.351-361.
6 D.W. Corne, N.R. Jerram, J.D. Knowles, and M.J. Oates. PESA-II: Region-based selection in evolutionary multiobjective optimization. In Proceedings of the Genetic and Evolutionary Computation Conference, Morgan Kaufmann Publishers, San Francisco, CA, pp. 283-290, 2001.
7 P.J. Rousseeuw. Silhouettes: a graphical aid to the interpretation and validation of cluster analysis, Journal of Computational and Applied Mathematics, 20(1), pp. 53-65, 1987.
8 J.L. Davies and D.W. Bouldin. A cluster separation measure, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1, pp. 224-227, 1979.
9 J.Handl, J.Knowles. Feature subset selection in unsupervised learning via multi objective optimization. International Journal of Computational Intelligence Research, vol. 2, no. 3, pp. 217-238, 2006.
10 Kohonen T.: Self-Organizing Maps. Springer-Verlag Berlin Heidelberg, 2001.
11 K. Bhargavi, S. Jyothi. A Survey on Threshold Based Segmentation Technique in Image Processing // International journal of innovative research & development, November, 2014, Vol.3, Issue 12, pp.234-239.
12 Savneet Dhaliwal, Abhilasha Jain. A Survey on Seeded Region Growing based Segmentation Algorithms // International Journal of Computer Science and Management Research, Vol. 2, Issue 6, June 2013, ISSN 2278-733X.
13 Erwin, Saparudin, Adam Nevriyanto, and Diah Purnamasari. Performance Analysis of Comparison between Region Growing, Adaptive Threshold and Watershed Methods for Image Segmentation // Lecture Notes in Engineering and Computer Science: Proceedings of The International MultiConference of Engineers and Computer Scientists 2018, 14-16 March, 2018, Hong Kong, pp157-163.
14 Aggarwal C (ed.) (2007). Data Streams: Models and Algorithms. Springer-Verlag.
15 Bifet A., de Francisci Morales G., Read J., Holmes G., Pfahringer B. Efficient Online Evaluation of Big Data Stream Classiffiers // In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '15, 2015, pp. 59-68.
16 V.Skobtsov, N.Lapitskaja, R.Saksonov, S.Potryasaev. Automated Logical-Probabilistic Methodology and Software Tool as Component
of the Complex of Methodologies and Software Tools for Evaluation of Reliability and Survivability of Onboard Equipment of Small Satellites // Proc. of 7th Computer Science On-line Conference 2018 (CSOC 2018) «Software Engineering and Algorithms in Intelligent Systems». In Advances in Intelligent Systems and Computing, Vol. 763, Springer, pp.452-463.
17 Поленин В.И., Рябинин И.А., Свирин С.К. и др. Применение общего логико-вероятностного метода для анализа технических, военных организационно-функциональных систем и вооруженного противоборства / Монография, научное издание / Под ред. А.С.Можаева // СПб: СПб-региональное отделение РАЕН, 2011. - 416 с.
18 Кульбак Л.И., Мартинович Т.С. Интервальная оценка расчетных значений показателей надежности бортовой аппаратуры малых космических аппаратов // Материалы Седьмого Белорусского космического конгресса. - Т.2, 2017. -С.161-165.
19 Кульбак Л.И., Николаеня Е.Д. Алгоритмизация интервальной оценки показателей надежности бортовой аппаратуры малых космических аппаратов // Материалы Седьмого Белорусского космического конгресса. - Т.2, 2017. - С.166-170.
20 Кульбак Л.И. Оценка надежности бортовой аппаратуры малых космических аппаратов в процессе их полета / Кульбак Л.И., Алюшкевич В.Б., Золотой С.А. // Информатика. - №4(48), 2015. - С.109-118.
ANALYSIS OF RELIABILITY, SURVIVABILITY AND TELEMETRY INDICATORS OF SMALL SPACECRAFT'S
ONBOARD EQUIPMENT
Skobtsov V.Y.1, KruglikovS.V.2, Kim D.S.3, Novoselova N.A.4, Arkhipau V.I.5, Kulbak L.I.6, Nikolaenya E.D.7, Lapitskaja N.V.8, Vakulchyk Y.N.9,
Saksonov R.V.10
Editors board note: Publishing the article by our Belarusian colleagues, we would like to underscore that it resulted from the collaboration of scientists from the two countries and reflects the Important result of a major project undertaken by the Union State. We intend to continue paying close attention to works by our colleagues from Belarus.
Purpose: Research and development of procedures, algorithms and software to assess reliability/survivability indicators and perform intellectual analysis of telemetry data of small spacecraft's onboard equipment.
Research methods: The developed software and procedures build on the methods and algorithms of the reliability theory, probability theory and mathematical statistics, Boolean algebra, machine learning and image processing.
Results: The article offers solutions to the relevant tasks of assessing and analyzing the reliability/survivability indicators of small spacecraft's onboard equipment as their safety elements. The article presents a solution to the task of intellectual analysis of telemetry data of small spacecraft's onboard equipment to identify its operational states and analyze its performance. A package of software tools and procedures was developed to assess and analyze reliability, survivability and telemetry indicators of small spacecraft's onboard equipment. The package includes a procedure and software module for interval assessment of reliability indicators, an integrated software module for visualizing structural reliability schemes, a procedure and software module for intelligent telemetry data analysis, an integrated software module for 2D and 3D visualization of data analysis results, a procedure and software module for probabilistic logic assessment and analysis of reliability/survivability indicators. Implemented in desktop and web versions, the software package has a flexible service-oriented architecture.
1 Vadim Yu. Skobtsov, Ph.D., Associate Professor, Leading Researcher, United Institute of Informatics Problems of NAS Belarus, Minsk, Belarus. E-mail: [email protected]
2 Sergey V. Kruglikov, Dr.Sc. (Mil.), Professor, Deputy Director for Research, United Institute of Informatics Problems of NAS Belarus, Minsk, Belarus. E-mail: [email protected]
3 Dmitriy S. Kim. Engineer, United Institute of Informatics Problems of NAS Belarus, Minsk, Belarus. E-mail: [email protected]
4 Natalia A. Novoselova, Ph.D., Leading Researcher, United Institute of Informatics Problems of NAS Belarus, Minsk, Belarus. E-mail: [email protected]
5 Viachaslav I. Arkhipov, Research Associate, United Institute of Informatics Problems of NAS Belarus, Minsk, Belarus. E-mail: [email protected]
6 Leonid I. Kulbak, Ph.D., Leading Researcher, United Institute of Informatics Problems of NAS Belarus, Minsk, Belarus. E-mail: [email protected]
7 Eugene D. Nikolaenya, Junior Researcher, United Institute of Informatics Problems of NAS Belarus, Minsk, Belarus. E-mail: [email protected]
8 Natalia V. Lapitskaja, Ph.D., Associate Professor, Head of Department, Belarusian State University of Informatics and Radioelec-tronics, Minsk, Belarus. E-mail: [email protected]
9 Eugene N. Vakulchyk, Postgraduate Student, Belarusian State University of Informatics and Radioelectronics, Minsk, Belarus. E-mail: [email protected]
10 Roman V. Saksonov, Lead Engineer, Geoinformation Systems, Minsk, Belarus. E-mail: [email protected]
Keywords: complex of software tools and methodologies, software module, software component, service-oriented architecture, intelligent data analysis, telemetry data, Kohonen SOM, image processing, logical-probabilistic method, interval estimation of reliability indicators
References
1 Okhtilev M.Y., Mustaphin N.G., Miller V.E., Sokolov B.V. Koncepciya proaktivnogo upravleniya slozhnymi ob'ektami: teoreticheskie i tekhnologicheskie osnovy // Izvestiya vuzov. Priborostroenie. 2014. Tom 57. №11. S.7-14.
2 Vasiljev S.N., Vasiljev V.l., Glumov V.M., Danilin O.E., Evdokimenkov V.N., Zhernakov S.V., Il>yasov B.G., Krasilshchikov M.N., Munasypov R.A., Petunin V.l., Rutkovskij V.Y., Saitova G.A., Suhanov V.M., Filimonov A.B., Filimonov N.B., Frid A.I. Problemy upravleniya slozhnymi dinamicheskimi ob'ektami aviacionnoj i kosmicheskoj tekhniki: monografiya. M.: Mashinostroenie, 2015.
3 Zelentsov V.A., Potryasaev S.A., Sokolov B.V., Skobtsov V.Yu., Kim D.S., Vakul-chik E.N., Nikolaenya E.D., Novoselova N.V., Saksonov R.V. Raspredelennyiy programmnyiy kompleks dlya otsenivaniya i mnogokriterialnogo analiza pokazateley nadezhnosti i zhivuchesti bortovoy apparaturyi malyih kosmicheskih apparatov: rossiyskiy i belorusskiy segmentyi // Materialyi Sedmogo Belorusskogo kosmichesogo kongressa. - T.2, 2017. - pp.171-174.
4 Zelentsov V.A., Potryasaev S.A., Sokolov B.V., Skobtsov V.Yu., Kim D.S., Vakulchik E.N., Nikolaenya E.D., Novoselova N.V., Saksonov R.V. Raspredelennyiy programmnyiy kompleks dlya otsenivaniya i analiza pokazateley nadezhnosti i zhivuchesti bortovoy apparaturyi malyih kosmicheskih apparatov // Tezisyi dokladov Shestoy mezhdunarodnoy nauchno-tehnicheskoy konferentsii «Aktualnyie problemyi sozdaniya kosmicheskih sistem distantsionnogo zondirovaniya Zemli». - Moskva: AO «Korporatsiya «VNIIEM», 2018. - 146 p.
5 V.Skobtsov, N.Novoselova, V.Arhipov, S.Potryasaev. Intelligent Telemetry Data Analysis of Small Satellites // Proceedings of the 6th Computer Science On-line Conference 2017 (CSOC2017), Vol. 1 in Advances in Intelligent Systems and Computing (Eds. Janusz Kacprzyk et al.). - Springer International Publishing Switzerland, 2017. -Vol.2 (574), 2017. - P.351-361.
6 D.W. Corne, N.R. Jerram, J.D. Knowles, and M.J. Oates. PESA-II: Region-based selection in evolutionary multiobjective optimization. In Proceedings of the Genetic and Evolutionary Computation Conference, Morgan Kaufmann Publishers, San Francisco, CA, pp. 283-290, 2001.
7 P.J. Rousseeuw. Silhouettes: a graphical aid to the interpretation and validation of cluster analysis, Journal of Computational and Applied Mathematics, 20(1), pp. 53-65, 1987.
8 J.L. Davies and D.W. Bouldin. A cluster separation measure, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1, pp. 224-227, 1979.
9 J.Handl, J.Knowles. Feature subset selection in unsupervised learning via multi objective optimization. International Journal of Computational Intelligence Research, vol. 2, no. 3, pp. 217-238, 2006.
10 Kohonen T.: Self-Organizing Maps. Springer-Verlag Berlin Heidelberg, 2001.
11 K. Bhargavi, S. Jyothi. A Survey on Threshold Based Segmentation Technique in Image Processing // International journal of innovative research & development, November, 2014, Vol.3, Issue 12, pp.234-239.
12 Savneet Dhaliwal, Abhilasha Jain. A Survey on Seeded Region Growing based Segmentation Algorithms // International Journal of Computer Science and Management Research, Vol. 2, Issue 6, June 2013, ISSN 2278-733X.
13 Erwin, Saparudin, Adam Nevriyanto, and Diah Purnamasari. Performance Analysis of Comparison between Region Growing, Adaptive Threshold and Watershed Methods for Image Segmentation // Lecture Notes in Engineering and Computer Science: Proceedings of The International MultiConference of Engineers and Computer Scientists 2018, 14-16 March, 2018, Hong Kong, pp157-163.
14 Aggarwal C (ed.) (2007). Data Streams: Models and Algorithms. Springer-Verlag.
15 Bifet A., de Francisci Morales G., Read J., Holmes G., Pfahringer B. Efficient Online Evaluation of Big Data Stream Classiffiers // In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '15, 2015, pp. 59-68,.
16 V.Skobtsov, N.Lapitskaja, R.Saksonov, S.Potryasaev. Automated Logical-Probabilistic Methodology and Software Tool as Component of the Complex of Methodologies and Software Tools for Evaluation of Reliability and Survivability of Onboard Equipment of Small Satellites // Proc. of 7th Computer Science On-line Conference 2018 (CSOC 2018) «Software Engineering and Algorithms in Intelligent Systems». In Advances in Intelligent Systems and Computing, Vol. 763, Springer, pp.452-463.
17 Polenin V.I., Ryabinin I.A., Svirin S.K. i dr. Primenenie obschego logiko-veroyatnostnogo metoda dlya analiza tehnicheskih, voennyih organizatsionno-funktsionalnyih sistem i vooruzhennogo protivoborstva / Monografiya, nauchnoe izdanie / Pod red. A.S.Mozhaeva // SPb: SPb-regionalnoe otdelenie RAEN, 2011. - 416 p.
18 Kulbak L.I., Martinovich T.S. Intervalnaya otsenka raschetnyih znacheniy pokazateley nadezhnosti bortovoy apparaturyi malyih kosmicheskih apparatov // Materialyi Sedmogo Belorusskogo kosmicheskogo kongressa. - T.2, 2017. - P.161-165.
19 Kulbak L.I., Nikolaenya E.D. Algoritmizatsiya intervalnoy otsenki pokazate-ley nadezhnosti bortovoy apparaturyi malyih kosmicheskih apparatov // Materialyi Sedmogo Belorusskogo kosmicheskogo kongressa. - T.2, 2017. - P.166-170.
20 Kulbak L.I. Ocenka nadezhnosti bortovoj apparatury malyh kosmicheskih apparatov v processe ih poleta / Kulbak L.I., Alyushkevich V.B., Zolotoj S.A. // Informatika. - №4(48), 2015. - S.109-118.