CC BY
73
4. 1НФОРМАЦ1ЙН1 ТЕХНОЛОГИ
Науковий вкник НЛТУ УкраТни Scientific Bulletin of UNFU http://nv.nltu.edu.ua https://doi.org/10.15421/40280226 Article received 15.03.2018 р. Article accepted 29.03.2018 р.
УДК 621.311
ISSN 1994-7836 (print) ISSN 2519-2477 (online)
1 Kl Correspondence author Yu. V. Tsymbal yurij.tsymbal@gmail.com
I. Г. Цмоць, Ю. В. Цимбал, В. I. Роман, Р. В. Сидоренко
Нацюнальнийунiверситет "Львiвська полШехтка", м. Львiв, Украта
ЗАСОБИ ЗБЕРЕЖЕННЯ, ОПРАЦЮВАННЯ ТА ЗАХИСТУ ДАНИХ БАГАТОР1ВНЕВО1
СИСТЕМИ УПРАВЛ1ННЯ ЕНЕРГОЕФЕКТИВН1СТЮ РЕГ1ОНУ
Визначено, що для ефективного управлшня енергоефективнiстю багаторiвнева система управлшня повинна забезпечува-ти збiр енергетичних даних у реальному чаа, створення единого iнформацiйного простору з достовiрною, повною та оперативною шформащею, захист даних вiд несанкцюнованого доступу, збертання, опрацювання, аналiз накопичених даних, прогнозування енергоефективносп, визначення шляхiв зменшення технологiчних i невиробничих втрат енергоресурав. Роз-роблено структуру засобiв збереження трирiвневоT системи управлiння енергоефектившстю, у якiй перший рiвень викорис-товують для збереження енергетичних даних вщ пiдприемств регiону, а другий та третш рiвнi - збертають iнформацiю вщ-повiдно економiчно-виробничого та технолопчного характеру про дiяльнiсть тдприемства. Розроблено структуру шформа-цшно-аналтчноТ системи, основними компонентами яко'' е засоби: ЕТЬ, збереження та захисту даних, аналтчного опрацювання, набування знань, штелектуального аналiзу даних, прогнозування енергоефективноси, пiдтримки прийняття рь шень i вiзуалiзацii'. Вибрано пiдходи в штеграцп та консолщацп даних i сформовано перелж задач для засобiв опрацювання даних. Розроблено засоби захисту даних у сховищi вщ несанкцiонованого доступу на базi нейромережевих технологiй.
Кл^чов^ слова: шформацшно-аналтчна система; сховище даних; реальний час; нейронш мережi.
Вступ. Багатор1внева система управл1ння енергоефектившстю репону (БСУЕР) складаеться 1з шформа-цшно-аналггичноТ системи та 1нтегрованих автоматизо-ваних систем управлшня (1АСУ) тдприемствами, орга-шзащями та установами репону, як1 забезпечують мониторинг енергоспоживання ресурав у режим1 реального часу. Багатор1вневе управлшня передбачае штегра-цш шформацшних ресурав тдприемств, оргашзацш та установ 1 забезпечення доступу до необхщноТ шфор-мацп в будь-який час 1з р1зних засоб1в.
У склад БСУЕР повинш входити компоненти, яш здатш 1нтегрувати даш з р1зних територ1ально розосере-джених об'екпв 1 забезпечувати захист доступу до даних на вах р1внях управл1ння. Окр1м цього, БСУЕР повинна надавати рекомендацп та об'ективну шформацш у зруч-ному вигляд1 з метою забезпечення прийняття обгрунто-ваних управлшських ршень (у перспектив! з нашвавто-матичному чи повшстю автоматичному режим1).
При цьому компоненти опрацювання на верхньому р1вш повинш оперувати як з оперативною, так 1 з вто-
ричною шформащею та, за результатами И опрацювання, забезпечувати прийняття ефективних управлшських ршень. Особлив1стю БСУЕР е те, що вона е розподше-ною системою з р1зним розвитком шформацшноТ ш-фраструктури. Усе це потребуе пошуку адекватно! структури засоб1в збереження. Не менш важливою для забезпечення достов1рност1 вхщноТ шформацп та усу-нення надлишкових чи вщновлення втрачених (наприк-лад, через завади шд час передавання даних вщ первин-них давач1в) даних е розробка програмних компоненпв опрацювання даних. При цьому важливим е наявшсть ефективних предметно ор1ентованих сховищ даних як на р1вш тдприемств, так 1 на р1вш репону. Предметно ор1ентоваш сховища даних повинш забезпечувати зб1р, попередне опрацьовування, фшьтрацш, зберйання та надання доступу до даних засобам опрацювання.
З огляду на це, важливим актуальним завданням для забезпечення ефективного функщонування БСУЕР е розроблення засоб1в збереження, опрацювання та захисту даних.
1нформащя про aBTopiB:
Цмоць 1ван Григорович, д-р техн. наук, професор, завщувач кафедри автоматизованих систем управлшня.
Email: ivan.tsmots@gmail.com Цимбал Юрм Вшторович, канд. техн. наук, доцент, доцент кафедри автоматизованих систем управлшня.
Email: yurij.tsymbal@gmail.com Роман Володимир 1горович, аспiрант кафедри автоматизованих систем управлшня. Email: volodyaroman9@gmail.com Сидоренко Роман Вшторович, асистент кафедри автоматизованих систем управлшня. Email: roman.v.sydorenko@lpnu.ua Цитування за ДСТУ: Цмоць I. Г., Цимбал Ю. В., Роман В. I., Сидоренко Р. В. Засоби збереження, опрацювання та захисту даних
баraторiвневоТ системи управлшня енергоефектившстю репону. Науковий вкник НЛТУ УкраТни. 2018, т. 28, № 2. С. 137-143. Citation APA: Tsmots, I. G., Tsymbal, Yu. V., Roman, V. I., & Sydorenko, R. V. (2018). Tools for Data Storage, Data Processing and Data Protection in the Multi-Level Management System of Energy Efficiency of the Region. Scientific Bulletin of UNFU, 28(2), 137-143. https://doi.org/10.15421/40280226
Аналiз останшх досл1джень та публiкацiй. За ос-
танш роки здiйснено багато дослвджень та публiкацiй, як1 стосуються питань щодо розроблення багаторiвне-вих систем управлшня енергоефективнiстю шд-приемством, метом, областю та регiоном (Medykovskyi, et al., 2015; Kunynets & Hrytsiuk, 2013; Tsmots, Skorokhoda & Roman, 2016). Розглянемо найважливiшi з цих публiкацiй.
У роботах (Medykovskyi, et al., 2015; O'Leary, 2000; Data Warehouse Design, 2013; Lambda Architecture, 2015; Stashevskyi, & Hrytsiuk, 2013; BeyeNET-WORK, 2013) проаналiзовано архiтектури багаторiв-невих систем управлшня енергоефектившстю як ок-ремих шдприемств, так економiки регiону. Особли-вiстю таких архiтектур е орiентацiя !х на використан-ня сучасних штернет-технологш та сховища даних на кожному рiвнi управлiння. Недолiком наявних багато-рiвневих систем управлiння енергоефектившстю е ввдсутшсть на кожному рiвнi управлiння засобiв за-хисту даних, яш зберiгаються у сховищах даних.
У працях (Bertocco, et al., 2002; Chiu, Yu Hsien, et al., 2014; BeyeNETWORK, 2015; Teslyuk, et al., 2018) знач-ну увагу придiлено питаниям збирання та облшу енер-госпоживання на кожному рiвнi управлiння. Проте у розглянутих працях недостатньо уваги придiлено роз-робленню засобiв збереження даних для багаторiвневих систем управлiння енергоефективнiстю. У роботах (Data Warehouse Design, 2013; BeyeNETWORK, 2015) показано, що для побудови сховищ даних використовують два тдходи: "класичний" - на основi реляцшних баз даних та на основi концепци Big Data.
Класичний шдхщ успiшно справляеться з виршен-ням задач шформацшно1 штеграцп вже протягом ос-таннiх десятирiч. Причому, за необхiдностi забезпечи-ти накопичення та зберiгання зростаючих обсяпв даних, застосовували екстенсивний метод розвитку ш-формацшно1 системи - шляхом використання накопи-чувачiв з бшьшою емнiстю та бiльш продуктивного серверного обладнання. Однак останнiми роками внас-лiдок широкого впровадження засобiв шформатизаци спостерiгаеться iнтенсивне зростання обсягу даних, 1х рiзноманiтностi, iнтенсивностi надходження за одно-часно! 1х неструктурованостг Так1 данi сьогоднi виз-начають термiном Big Data (Big Data Implementation vs., 2015; Big Data, 2013; Lambda Architecture, 2015). При цьому класичш методи неефективш для опрацю-вання великих масивiв даних, що потребуе вдоскона-лення методiв оргашзаци проблемно орiентованих сховищ даних.
Зазвичай технологи Big Data базуються на кластер-них технолопях, призначених для побудови сховищ да-них для збору, накопичення та опрацювання надвели-ких обсягiв даних (Lambda Architecture, 2015; Big Data, 2013). Сховища даних на основi Big Data технологш зазвичай оргашзовують на основi лямбда архiтектури, котру призначено для оргашзаци сховищ, яш можуть надавати користувачам миттеву вщповщь, яка мютити-ме найактуальнiшi даш
У роботах (Bertocco, et al., 2002; Chiu, Yu Hsien, et al., 2014; Big Data Implementation vs., 2015; Big Data, 2013; Lambda Architecture, 2015) розглянуто системи мошторингу енергоспоживання, як ефективного засо-
бу шдвищення енергоефективносп пiдприeмств та eKOHOMiKH perioHy. Однак у цих роботах мало уваги придшено питанням щодо розроблення засoбiв опра-цювання та вiзyалiзацil енергетичних даних. О^м цього, з аналiзy пyблiкацiй (Teslyuk, et al., 2018; Medykovskyi, Tsmots & Skorokhoda, 2014; Medykovskyi, et al., 2016; Medykovskyi, Tsmots & Tsymbal, 2013; Tsmots, Tsymbal & Tsmots, 2012; Teslyuk, 2017; Medykovskyi, Tsmots, Tsymbal, 2016) випливае, що формування ефективних управлшських ршень у багатopiвнeвих системах yпpавлiння енергоефектившстю грунтуеться на результатах прогнозу-вання eнepгoeфeктивнoстi та аналiтичнoгo й штелек-туального опрацювання енергетичних даних.
У роботах (Bertocco, et al., 2002; O'Leary, 2000; Chiu, Yu Hsien, et al., 2014; Data Warehouse Design, 2013; Big Data Implementation vs., 2015; Lambda Architecture, 2015) розглянуто техшчш та шженерш аспекти розроблення багатopiвнeвих систем управлшня енергоефектившстю, а також сучасш технологи збирання, передач^ збереження, захисту та опрацювання енергетичних даних. Проте у розглянутих працях недостатньо уваги придшено питанням комплексного шдхо-ду до розроблення таких засoбiв та !х адаптаци до задач багатopiвнeвoгo управлшня енергоефектившстю репону.
З проведеного аналiзy випливае, що розроблення за-сoбiв збереження, опрацювання та захисту даних у ба-гатopiвнeвих системах управлшня енергоефектившстю репону потребуе використання комплексного шдходу, який охоплюе сyчаснi штернет-технологи, методи, ал-горитми захисту та опрацювання даних, технологи баз i сховищ даних.
Мета та завдання дослщження. Мета роботи -розроблення структури засoбiв збереження, опрацювання та захисту даних багатopiвнeвol системи yпpавлiння енергоефектившстю репону.
Для досягнення мети необхшно виконати так1 завдання:
• розробити структуру засоб1в збереження БСУЕР;
• розробити структуру шформацшно-анал1тично! системи для управлшня верхшм р1внем БСУЕР;
• вибрати тдходи в штеграцп та консолщацп даних;
• сформувати перелж задач для засоб1в опрацювання даних;
• розробити засоби захисту даних несанкцюнованого доступу. Основш результата дослщження. Архтектура за-
co6ie збереження тформацшних pecypcie БСУЕР. Щд-вищення енергоефективносп eкoнoмiки peгioнy е комплексною проблемою, виршення яко! передбачае розроблення та peалiзацiю низки системних управлшських ршень як на репональному piвнi, так i на piвнi окремих пiдпpиемств (opганiзацiй, установ). Важливим шстру-ментом пiдвищeння енергоефективносп eкoнoмiки ре-гioнy е використання БСУЕР. Для забезпечення ефективного управлшня БСУЕР, пoтpiбнo виконувати так завдання:
• зб1р енергетичних даних у реальному чаа;
• створення единого шформацшного простору з достов1рною, повною та оперативною шформащею шляхом штеграцп р1зномаштних даних за допомогою баз, сховищ даних й ш-тернет-сервер1в;
• захист даних вщ несанкцюнованого доступу в систем1 бага-тор1вневого управлшня енергоефектившстю;
• збершання, опрацювання та ан^з накопичених даних, виз-начення шляхiв зменшення технологiчних i невиробничих втрат енергоресурав;
• прогнозування та управлiння енергоефектившстю економь кою регiону.
Для 1нтеграцп шформацшних ресурав у галуз1 енер-гоефективносп розроблено структуру засоб1в збереження даних БСУЕР, яку наведено на рис. 1, де: ETL
(Extract, Transform, and Load) - засоби виймання, перет-ворення та завантаження; СД ФЕ - сховище даних фь нансових i економ1чних; СД Тех - сховище даних тех-нолопчних; N - шльшсть пiдприeмств (Medykovskyi, Tsmots & Podolski, 2013; Kunynets, & Hrytsiuk, 2013; Tsmots, Medykovskyi & Tsmots, 2017).
Рис. 1. Структура засобiв збереження шформацшних ресурав у
Розроблена архитектура БСУЕР е трирiвневою. Перший рiвень управлiння - iнформацiйно-аналiтична система, яку використовують для управлшня енергоефектившстю шдприемств репону. Другий та третш рiвнi управлiння призначенi для управлшня ввдповвд-но економiчно-виробничою дiяльнiстю та технолопч-ними процесами на шдприемствах регiону. На першо-му рiвнi управлiння зберiгаеться оперативна та вторична iнформацiя про енергоспоживання шдприемств репону. На другому та третьому рiвнi зберiгаються оперативнi та шторичш данi вiдповiдно про економiч-но-виробничу дiяльнiсть та технологiчнi процеси на шдприемствг
Основними особливостями БСУЕР е: великий обсяг даних та 1х рiзноманiтнiсть; суперечливiсть i неповнота; висока штенсившсть надходження вхiдних даних та не-обхiднiсть забезпечення 1х прив'язки до едино1 шкали часу з метою однозначного i несуперечливого 1х по-дальшого зберiгання та опрацювання. Ц особливостi повиннi бути враховаш пiд час вибору чи розроблення засобiв збереження БСУЕР.
Основними компонентами збереження шформацшних ресурав у БСУЕР е: сховище даних у хмарному сервга, ETL засоби, сховище штегрованих даних на першому рiвнi управлiння, сховища фшансово-еконо-мiчних i технолопчних даних у 1АСУ на кожному шдприемств^ засоби захисту вщ несанкцiонованого доступу до сховищ даних.
Сховище даних у хмарному сервга мае вщкрип ш-терфейси для доступу та публшаци iнтегрованих даних, управлiння якими здшснюеться хмарним сервь сом. Доступ до цих даних може здшснювати будь-який користувач мереж1 1нтернет за допомогою пуб-
БСУЕР
лiчних, документованих iнтерфейсiв доступу, як1 на-дае хмарний сервiс. За накопичення даних у хмарному сервiсi безпосередньо вщповщають пiдприемства (установи) репону. Даш з шдприемств (установ) запису-ються у сховище даних у хмарному сервга за допомогою штерфейав, яш базуються на HTTP протокола Для роботи зi сховищем даних у хмарному сервiсi пропонують використати iнтерфейс з HTTP REST протоколом, який е простим i ушфшованим штерфейсом для роботи з мережею. Цей штерфейс надае користу-вачам змогу як напряму публшувати чи читати данi з сервюу, так i робити запити на керуючi дiï. Прикладом таких дш може бути запит на встановлення сервюом потокового читання даних на основi TCP сокетiв. Сер-вiс може надавати файловi штерфейси для публiкацiï файлiв iз даними. Такими штерфейсами можуть бути FTP сервери, локальш файловi системи чи хмарш файловi системи, наприклад таю як AWS S4. Реалiза-щя сховища даних у хмарному сервга можлива за допомогою популярних хмарних сервiсiв, таких як: AWS, Azure i Google Cloud.
Ыформацшно-аналгтична система. Для управлшня енергоефектившстю шдприемств репону розроблено структуру iнформацiйно-аналiтичноï системи, яку наведено на рис. 2. Основними компонентами та^ системи е: засоби ETL, засоби захисту, сховище даних, OLAP (Online Analytical Processing, терактивна аналогична обробка) та BI (Business Intelligence - набування знань iз використанням рiзних апаратно-програмних технологш), Data Mining ^нтелектуальний аналiз даних), засоби прогнозування енергоефективносп, шдтримки прий-няття ршень i вiзуалiзацiï.
Рис. 2. Структура шформацшно-анаттично'! системи БСУЕР
Основою сховища шформацшно-аналггично' системи е база даних, яка мютить юторичш, так зваш сир1 даш (raw data). Даш у сховищ1 збер^аються в структуро-ванш i зручнш для аналогичного опрацювання формь Сховище даних надае змогу працювати з великими об-сягами даних у рiзних форматах, яга iнтегрованi з рiз-них джерел, та забезпечувати тдтримку одночасно' ро-боти з багатьма користувачами. Метадаш сховища мю-тять широкий набiр шформаци, яка надае данi про ко-ристувачiв та права доступу, забезпечуе конф^уруван-ня сховища. У сховищi використовують staging область, яка представляе собою тимчасовi таблицi для збору даних ETL процесами. У сховищах даних використовують в^ини, де збершаеться тiльки частина вшх даних в агрегованому виглад, яга визначають параметри енер-гоефективность Окрiм цього, сховище надае OLAP (online analytical processing) та BI (Business Intelligence) за-соби, яга забезпечують опрацювання i вiзуалiзацiю даних. Для реалiзацii i надання доступу до OLAP технологи у сховищi використовують OLAP сервери. Користу-вачi можуть отримати доступ до цих засобiв як напряму через штерфейси, так i через програмнi додатки (дес-ктопт, веб чи мобiльнi).
Розглянуто можливють реалiзацii сховища даних на основi класичних пiдходiв iз використанням реляцшних баз даних, таких як: Oracle DB, MS SQL Server. Перевагами таких систем е широка тдтримка засобiв штегра-цii та представлення даних. Недолiками системи е плат-на лiцензiя на використання та труднощi з горизонталь-ним масштабуванням.
Запропоновано реалiзувати сховище даних на осно-вi Big Data технологiй, яке надае змогу ефективно збе-ршати, опрацьовувати та надавати доступ до великих обсяпв даних у розподшеному режимi. Окрiм цього, цi технологи забезпечують ефективне опрацювання неструктурованих даних з високонавантажених i рiз-номаштних вхiдних джерел даних та тдтримують ве-лику кiлькiсть користувачiв. До Big Data технологш, на основi яких пропонуеться реалiзацiя сховища даних, запропоновано використати тага NoSQL ршення: бази даних Cassandra, HBase, MongoDB, DynamoDB, Impala, Druid; пошуковий рушiй Elasticsearch; розподь ленi файловi системи Hadoop HDFS, Amazon S3; брокер повщомлень Kafka. Запропоновано використову-вати реляцiйнi бази даних, тага як MySQL та PostgreSQL, як сховища для метаданих, а для опрацювання даних та побудови ETL процеав: Spark, Flink, Storm, HIVE, Presto, Akka. Бшьшють наведених тех-нiчних засобiв мають вщкритий програмний код та безкоштовш для використання. Сховище на основi Big Data технологii забезпечуе штегращю та опрацювання
великих обсягiв даних, гнучгасть та горизонтальне масштабування.
Запропоновано, щоб 1АСУ пiдприемств (установ) публiкували сво' данi у хмарному сервiсi та забезпечу-вали захищенiсть 'х шфраструктури та даних. Хмарний сервiс надае широк можливостi для публiкацii даних за допомогою таких заа^в: SQL запити на основi JDBC та ODBC протоколiв; HTTP REST штерфейшв; читання з TCP сокетiв; файлових систем та FTP серверiв; спещ-алiзованих API для мов програмування на основi мере-жевого стеку. Залежно вiд типу та форма^в даних для спрощення розробки компонента i 'х публiкацii тд-приемство може скористатися тим чи шшим тер-фейсом публiкацii даних у хмарному сервiсi.
Програмнi компоненти попереднього опрацювання даних призначеш для забезпечення достовiрностi пер-винних даних, яга надходять у БСУЕР. Варто зазначити тага завдання попереднього оброблення: фшьтрування вхщних первинних даних iз давачiв, порогова обробка; вiдновлення частково втрачених даних на певних часо-вих промiжках; iнтелектуалiзована попередне оброблення. Причинами появи недостовiрностi е, поряд iз фь зичним пошкодженням давача, збо' у системах електро-живлення, завади зi сторони силового обладнання ви-робничих об'ектiв та збо' у роботi каналiв зв'язку. Завдання фшьтрування первинних даних, порогово' оброб-ки виконуються ETL засобами первинних систем збору даних. Iнтелектуалiзовану попередню обробку призна-чено для можливого вiдтворення втрачених вимiрiв iз давача та аналiзу достовiрностi та несуперечливосл ок-ремого параметра, порiвняно з iншими. Реалiзацiя зав-дань вдаовлення частково втрачених даних на певних часових промiжках потребуе застосування апарату штучних нейронних мереж, яку потрiбно реалiзовувати за допомогою сучасних SoC систем.
Шдходи до штеграци та KoncoMidatyi даних. Важ-ливою особливютю сховища даних е необхщшсть ш-теграцii даних, запис як сирих, так i узагальнених даних. Визначено основш поняття теори iнтеграцii. Те-орiя iнтеграцii даних е тдмножиною теорii баз даних i формалiзуе основнi поняття за допомогою лопки пер-шого порядку. Систему штеграци даних формально визначають як тршку <G, S, M>, де: G е глобальною схемою (або схемою посередника), S - множина схем рiзнорiдних джерел даних, М - вщображення мiж запитом джерела i запитом глобально' схеми. G i S пода-ють виразами мови, алфавiт яко' складаеться зi симво-лiв, що встановлюють вщображення мiж символами, притаманних обом схемам (тут теорiя штеграци переплетена з роботами щодо штеграци даних через створення метамови). Воображения M складаеться з
тверджень мiж запитами на G i запитами на S. У ви-падку, коли кopистyвачi створюють запити за системою штеграци даних, вони встановлюють зв'язки мiж елементами в глобальнш схeмi та схeмi джерела. База даних через схеми визначаеться як множина набopiв, по одному для кожного вщношення (у реляцшно! бази даних). Базу даних вщповщного джерела схеми S буде складатися з множин кортеж1в для кожного з piзнopiд-них джерел даних. Це едине джерело бази даних нас-пpавдi може бути множиною непов'язаних баз даних. Базу даних, схема яко! вiдпoвiдае вipтyальнiй схeмi посередника G, називають глобальною базою даних. Глобальна база даних мае задовольняти ввдображення M стосовно вихщно! бази даних. Чиннiсть цього ввдоб-раження залежить вiд характеру зв'язку мiж G i S. £ два способи моделювання ше! вiдпoвiднoстi: глобаль-ний (Global As View, GAV) i локальний (Local As View, LAV). У GAV тдмножина кортеж1в, яку ввдобра-жае посередник, е набагато меншою, шж множина кортеж1в джерел даних. У LAV кшьшсть кортеж1в глобально! схеми е набагато бшьшою, шж к1льк1сть кор-теж1в у джерелах даних. Тому в LAV-системах часто знаходимо нeпoвнi вiдпoвiдi.
У пiдхoдi GAV для штеграци даних розробник сис-теми буде спершу розробляти посередник1в для кожного з джерел шформаци, а попм розробить глобаль-ну схему для них. У цьому випадку велика значну час-тину зусиль зосереджено на написаннi правильного коду посередника, що може бути складним, якщо таких джерел е багато, i к1льк1сть !х пoстiйнo збшь-шуеться, особливо це актуально для пpoстopiв даних. З шшого боку, в LAV первинна база даних моде-люеться як сукупшсть пoглядiв на G. У цьому випадку M зiставляе кожному елементу S запит по G. До того ж точш зв'язки мiж G i S не завжди визначeнi. Перевага моделювання LAV полягае в тому, що нoвi джерела можуть бути дoданi з набагато меншими зусиллями, шж у систeмi GAV.
Опрацювання запитiв у системах теграци даних зазвичай вщображаеться за допомогою об'еднання. У GAV-системах розробник посередника пише код, щоб перевизначити запис. Кожен елемент у запип користу-вача вiдпoвiдае правилу замши так само, як кожен елемент глобально! схеми ввдповщае запиту до джерела. Опрацювання запипв просто розширюе пiдцiлi за запитом користувача вщповщно до правила, зазначеного у посередника i, внаслщок цього запити стають е^ва-лентш Найeфeктивнiшим з алгopитмiв перезапису запипв для GAV е TSIMMIS.
У LAV-системах процес переписування запипв е ра-дикальнiший, оск1льки немае посередника, який може встановити вщповщшсть з глобальною схемою. Систе-мi iнтeгpацi! нeoбхiднo виконати пошук по всьому простору можливих питань для того, щоб знайти п, яш вiдпoвiдають запиту користувача. Внаслiдoк перезапису е ймoвipнiсть отримати неекивалентний запит, але такий, що найбшьше вiдпoвiдае запиту користувача, внаслвдок чого i виникае нeвизначeнiсть у вщповщ на запит. Алгоритм MiniCon вважають найкращим серед алгopитмiв перезапису запипв для LAV.
Розглянуто пiдхiд до консолвдаци даних. Вiн ба-зуеться на oснoвi ETL пpoцeсiв та збереження узгодже-них даних у сховищг Запропоновано використовувати кoнцeпцiю Data Lake. Концепшя передбачае заванта-
ження у сховище bcíx даних Í3 джерел в оригiнальному виглядi без агрегацш та перетворень, що дае змогу пра-цювати з даними на найнижчому рiвнi. За потреби мож-на звертатися до агрегованих чи попередньо опрацьова-них областей даних. Концепшя Data Lake шдтри-муеться технологiею Big Data.
Засоби опрацювання енергетичних даних. У трирiв-иевш БСУЕР на кожному рiвнi управлiння використо-вують як спшьш засоби опрацювання, так i спецiалiзо-ванi для конкретного рiвня. На першому рiвнi управлш-ня (верхиш) здiйснюеться управлiння енергоефектив-нiстю шдприемств репону. Засоби опрацювання пер-шого рiвня управлiння повиннi забезпечувати виконан-ня таких завдань:
• попередню обробку та оцшювання даних у реальному час з використанням штучних нейронних мереж;
• перетворення р1знотипних багатовим1рних даних у в1зуаль-ш образи;
• штелектуальний анал1з даних i б1знес-анал1тика;
• прогнозування енергоефективноси економiки регiону;
• формування управлшських рiшень на основi аналiзу результата опрацювання;
• оптимiзацiю структури споживання паливно-енергетичних ресурсiв;
• зменшення енергоемноси виробництва одиницi продукцй, виконаних робщ наданих послуг у оргашзащях i установах регiону;
• скорочення рiвня невиробничих втрат паливно-енергетич-них ресурав на пiдприемствах регiону.
Другий рiвень управлiння використовують для уп-равлiння виробництвом, синхронiзацiю, координацiю, аналiзом та оптимiзацiю випуску продукцii. Третш рi-вень управлiння зв'язаний з управлшням технологiчни-ми процесами, контролем i управлiнням параметрами обладнання. Засоби опрацювання другого та третього рiвнiв управлiння повиннi забезпечувати виконання таких завдань:
• попередне опрацювання та оцшювання даних iз давачiв у мовах завад i неповноi iнформацii;
• управлшня виконавчими механiзмами та складними об'ектами;
• управлiння рухом, контроль тяги i допомiжнi сервiси в транспортних засобах;
• автономне управлшня та прогнозування руху транспортних засобiв;
• прогнозування, управлшня технолопчними процесами та складними об'ектами;
• вирiвнювання навантаження в електромережах для оптимь зацй 1'х роботи;
• оптимiзацiя витрат ресурсiв, режимiв роботи виробничих систем;
• налаштування параметрiв техшчних засобiв залежно вiд умов навколишнього середовища.
Засоби захисту даних. Шд час розроблення пiдсис-теми захисту даних у БСУЕР необхвдно забезпечити не-вiдкладне виконання таких вимог:
1) можливють застосування як у реальному чам, так i для даних у сховищц
2) дотримання заданого рiвня стiйкостi проти зовшшшх атак.
Цим вимогам вiдповiдае шдсистема захисту на ос-новi нейромережево' криптографii, яка використовуе архiтектуру автоасошативно' нейронно' мереж1 з одним прихованим шаром (Diamantaras & Kung, 1996). Базо-вою для побудови алгорштшв навчання та функцiо^-
вання тако! мереж1 е модель послвдовних геометричних перетворень (Tsymbal & Tkachenko, 2016), яка передба-чае наявшсть латеральних зв'язк1в м1ж нейронами при-хованого шару (рис. 3).
Захищен1 дан1
Рис. 3. Структура тдсистеми нейромережевого захисту даних у БСУЕР
Нейромережа реалiзуe схему блочного симетрично-го шифрування з ключем, який утворюють параметри навчено! нейромережа. Модель послщовних геометричних перетворень дае змогу отримати представления вхвдних багатовимiрних даних у новому ортогональному базиа, i реалiзуеться на основi неiтерацiйного жа-дiбного алгоритму найвщдалешшо! точки, що забезпе-чуе швидке шифрування i застосування в реальному ча-сi. За к1льк1стю нейрошв у прихованому шарi, що дорiв-нюе кiлькостi вхiдиих i вихщних нейронiв, надаеться змога ввдновити без втрат на виходi мереж1 захищеш данi, що отримаиi на виходi прихованого шару. Для вщ-новлення даних використовують послiдовнi геометрич-ш перетворення, якi е зворотними до перетворень, про-ведених на еташ шифрування. Висновки
1. Визначено, що для ефективного управлшня енерго-ефектившстю багаторiвнева система управлiння повинна забезпечувати: збiр енергетичних даних у реальному чаи; створення единого шформацшного простору з достовiрною, повною та оперативною шформащею; за-хист даних вщ несанкцiонованого доступу; зберiгання, опрацювання, аналiз накопичених даних; прогнозуван-ня енергоефективностi, визначення шляхiв зменшення технолопчних i невиробничих втрат енергоресурсiв.
2. Розроблено структуру засобiв збереження трирiвневоl системи управлiння енергоефективнiстю, у якш перший рiвень використовують для збереження енергетичних даних вщ тдприемств регiону, а другий та третш рiвнi зберiгають iнформацiю вщповщно економiчно-виробничого та технологiчного характеру про дiяль-нiсть пiдприемства.
3. Розроблено структуру шформацшно-аналггично! системи, основними компонентами яко! е засоби: ЕТЦ збереження та захисту даних, аналгшчного опрацювання, набування знань, штелектуального аналiзу даних, прог-нозування енергоефективностi, пiдтримки прийняття рiшень i вiзуалiзацil. Вибрано пiдходи в штеграцп та
консолiдацii даних i сформовано перелж завдань для засобiв опрацювання даних.
4. Розроблено засоби захисту даних несанкщонованого доступу до сховищ даних на основi автоасощативно! нейронно! мережi, що навчають за моделлю послщов-них геометричних перетворень.
Статтю тдготовлено за результатами НДР "1нтелек-туальш шформацшш технологи багатор1вневого управлшня енергоефектившстю репону".
Перелiк використаних джерел
Bertocco, M., Cappellazzo, S., Flammini, A., & Parvis, M. (2002). A multi-layer architecture for distributed data acquisition. Proceedings of the 19th IEEE Instrumentation and Measurement Technology Conference, (MTC/2002), 2, 1261-1264. https://doi.org/10.1109/IMTC.2002.1007138 BeyeNETWORK (2015). Big Data Implementation vs. Data Warehousing. Retrieved from: http://www.b-eye-network.com/vi-ew/17017
Big Data. (2013). Big Data and its Impact on Data Warehousing. Retrieved from: http://cdn.ttgtmedia.com/BeyeNETWORK/downlo-ads/BigDataE-Book_final.pdf Chiu, Yu., & Hsien, et al. (2014). Enterprise resource planning. 128 p. Data Warehouse Design. (2013). Retrieved from: http://tdan.com/da-
ta-warehouse-design-inmon-versus-kimball/20300 Diamantaras, K. I., & Kung, S. Y. (1996). Principal Component Neural Networks: Theory and Applications, Wiley. 270 p. Kunynets, A. I., & Hrytsiuk, Yu. I. (2013). Informatsiini zahrozy ta problemy zabezpechennia informatsiinoi bezpeky promyslovykh kompanii. Scientific Bulletin of UNFU, 23(2), 352-360. Lviv: RVV NLTU Ukrainy. [in Ukrainian]. Lambda Architecture. (2015). Retrieved from: http://lambda-architec-ture.net/
Medykovskyi, M. O., Tkachenko, R. O., Tsmots, I. H., Tsymbal, Yu. V., Doroshenko, A. V., & Skorokhoda, O. V. (2015). Intelektualni komponenty intehrovanykh avtomatyzovanykh system upravlinnia. Lviv: Vydavnytstvo Lvivskoi politekhniky. 280 p. [in Ukrainian]. Medykovskyi, M. O., Tsmots, I. G., & Skorokhoda, O. V. (2014). Spectrum neural network filtration technology for improving the forecast accuracy of dynamic processes in economics. Actual Problems of Economics, 12(162), 410-416. Medykovskyi, M. O., Tsmots, I. G., & Tsymbal, Y. V. (2013). Intelligent data processing tools in the systems of energy efficiency management for regional economy. Actual Problems of Economics, 12(150), 271-277. Medykovskyi, M. O., Tsmots, I. G., Skorokhoda, O. V., & Teslyuk, T. V. (2016). Design of Intelligent Component of Hierarchical Control System. Econtechmod. An International Quarterly Journal, 5(2.3), 3-10.
Medykovskyi, M. O., Tsmots, I. H., & Podolski, M. R. (2013). Obgruntuvannia pryntsypiv pobudovy ta rozroblennia uzahalhnenoi struktury informatsiino-analitychnoi systemy dlia otsiniuvannia, prohnozuvannia ta upravlinnia enerhoefektyvnistiu ekonomiky re-hionu. Visnyk NU "Lbvivsbka politekhnika". Seriia: Kompiuterni nauky ta informatsiini tekhnolohii, 751, 40-51. Lviv. [in Ukrainian]. Medykovskyi, M. O., Tsmots, I. H., & Tsymbal, Y. V. (2016). Information analytical system for energy efficiency management at enterprises in the city of Lviv (Ukraine). Actual Problems of Economics, 1(175), 379-384. O'Leary, D. E. (2000). Enterprise resource planning systems: systems, life cycle, electronic commerce, and risk. Cambridge University Press. 350 p.
Stashevskyi, Z. P., & Hrytsiuk, Yu. I. (2013). Analiz dzherel zahroz informatsiinym systemam na etapi initsiatsii proektu. Visnyk Lvivskoho derzhavnoho universytetu bezpeky zhyttiediialnosti, 7, 67-74. Lviv: Vyd-vo LDU BZhD. [in Ukrainian]. Teslyuk, T., Tsmots, I., Teslyuk, V., Medykovskyi, M., & Opotyak, Y. (2017). Architecture of the management system of energy efficiency of technological processes at the enterprise. Proceedings of
Xllth International Scientific and Technical Conference, efektyvnistiu. Modeliuvannia ta informatsiini tekhnolohii, 77, 192-
(CSIT'2017), 5-8 September, 429-433. Lviv, Ukraine. 197. [in Ukrainian].
Teslyuk, T., Tsmots, I., Teslyuk, V., Medykovskyy, M., & Opotyak Tsmots, I. H., Tesliuk, T. V., Opotiak, Yu. V., & Tesliuk, V. M.
Y. (2018). Architecture and Models for System-Level Computer- (2017). Arkhitektura bahatorivnevoi systemy upravlinnia enerho-
Aided Design of the Management System of Energy Efficiency of efektyvnistiu rehionu. Visnyk NU "Lvivska politekhnika". Seriia:
Technological Processes at the Enterprise. Automation 2017. Inter- Kompiuterni nauky ta informatsiini tekhnolohii, 864, 201-209.
national Conference Automation 2017, Advances in Intelligent Lviv. [in Ukrainian].
Systems and Computing 689, Springer, 538-557. Tsymbal, Y., & Tkachenko, R. (2016). A Digital Watermarking Sche-
Tsmots, I. G., Tsymbal, Y. V., & Tsmots, O. I. (2012). Early-warning me Based on Autoassociative Neural Networks of the Geometric
systems for enterprises using neural networks tools. Actual Prob- Transformations Model. Proceedings of the 2016 IEEE First Inter-
lems of Economics, 10(136), 283-291. national Conference on Data Stream Mining & Processing, 231-
Tsmots, I. H., Skorokhoda, O. V., & Roman, V. I. (2016). 234. Skhovyshcha danykh bahatorivnevykh system upravlinnia enerho-
И. Г. Цмоць, Ю. В. Цымбал, В. И. Роман, Р. В. Сидоренко
Национальный университет "Львовская политехника", г. Львов, Украина
ИНСТРУМЕНТЫ ХРАНЕНИЯ, ОБРАБОТКИ И ЗАЩИТЫ ДАННЫХ В СИСТЕМЕ МНОГОУРОВНЕВОГО УПРАВЛЕНИЯ ЭНЕРГОЭФФЕКТИВНОСТЬЮ РЕГИОНА
Определено, что для эффективного управления энергоэффективностью многоуровневая система управления должна обеспечивать сбор энергетических данных в реальном времени, создание единого информационного пространства с достоверной, полной и оперативной информацией, защиту данных от несанкционированного доступа, хранение, обработку, анализ накопленных данных, прогнозирование энергоэффективности, определение путей уменьшения технологических и непроизводственных потерь энергоресурсов. Разработана структура средств сохранения трехуровневой системы управления энергоэффективностью, в которой первый уровень используется для сохранения энергетических данных от предприятий региона, а второй и третий уровни - сохраняют информацию экономически-производственного и технологического характера о деятельности предприятия. Разработана структура информационно-аналитической системы основными компонентами которой являются средства: ETL, сохранения и защиты данных, аналитической обработки, добывания знаний, интеллектуального анализа данных, прогнозирования энергоэффективности, поддержки принятия решений и визуализации. Выбраны подходы к интеграции и консолидации данных и сформирован перечень задач для средств обработки данных. Разработаны средства защиты данных в хранилище от несанкционированного доступа на основе нейросетевых технологий.
Ключевые слова: информационно-аналитическая система; хранилище данных; реальное время; нейронные сети.
I. G. Tsmots, Yu. V. Tsymbal, V. I. Roman, R. V. Sydorenko
Lviv Polytechnic National University, Lviv, Ukraine
TOOLS FOR DATA STORAGE, DATA PROCESSING AND DATA PROTECTION IN THE MULTI-LEVEL MANAGEMENT SYSTEM OF ENERGY EFFICIENCY OF THE REGION
The authors have defined that for the effective management of energy efficiency, the multilevel control system should provide real-time energy data acquisition, creation of a single information space with reliable, complete and operational information, protection of data from unauthorized access, storage, processing, analysis of acquired data, forecasting of energy efficiency, determination of routes for reduction of technological and non-productive losses of energy resources. The structure of tools for data storage in the three-level energy efficiency management system is developed. The first level in this structure is used to save energy data from enterprises of the region, and the second and third levels keep information in line with the economic-industrial and technological nature of the enterprise activities. The structure of the information-analytical system consists of such components as ETL, data storage and protection, analytical processing, knowledge acquisition, data mining, energy efficiency forecasting, and decision support and visualization. Cloud services usage for implementation of the data warehouse has been offered. Some approaches to integration and consolidation of data have been considered and a list of tasks for data processing components has been formed. An ETL-based approach and maintaining consistent data in the repository using the Data Lake concept have been proposed. Requirements for energy data processing tools at each level of management have been considered, a list of tasks for these tools has been developed. Tools for protection from unauthorized access to data warehouse on the basis of an auto-associative neural network with one hidden layer have been developed. The neural network contains lateral connections between neurons in a hidden layer and trained using a model of successive geometrical transformations. Thus, the neural network implements a block symmetric encryption scheme with a key which is formed by the parameters of the trained neural network.
Keywords: information-analytical system; data warehouse; real time; neural networks.
