CC BY
12
УДК 004.41 : 004.65 : 004.67
Л. В. РУДИКОВА, В. В. ДАНИЛЬЧИК
О ПОДХОДАХ К СОЗДАНИЮ СИСТЕМЫ АВТОМАТИЗАЦИИ, СВЯЗАННОЙ С СОЦИАЛЬНО-ЭКОНОМИЧЕСКИМИ ПЕРЕМЕЩЕНИЯМИ ЛЮДЕЙ
Учреждение образования «Гродненский государственный университет имени Янки Купалы»
В современных условиях актуальным является разработка общей концепции и реализация системы хранения и анализа данных, связанных с социально-экономическими перемещениями людей. Движение населения, связанное как с долгосрочными, так и краткосрочными миграциями носит возрастающий характер, что непосредственно влияет на различные сферы деятельности как отдельной страны, так и мирового сообщества, в целом. В предлагаемой статье описывается предметная область, связанная с социально-экономическими перемещениями людей, отмечаются ключевые особенности внутренних и внешних миграций. Исходя из предметной области, предлагается общая архитектура универсальной системы накопления и обработки данных, которая базируется на клиент-серверной архитектуре. Для серверной части системы приводится фрагмент модели данных, которая связана с накоплением данных из внешних источников. Предлагаются общие подходы к использованию алгоритмов и необходимых структур данных. Описывается каркас архитектуры системы с возможностью масштабирования как вертикального так горизонтального.
Предлагаемая система организовывает процесс поиска данных и заполнения базы из сторонних источников. Для этого в системе разработан модуль для сбора и преобразования информации из сторонних Интернет-источников и отправки их в базу данных. В работе отмечаются особенности клиентского приложения, которое предоставляет удобный интерфейс для анализа данных в виде диаграмм, графиков, карт и т.п. Система предназначена различных пользователей, заинтересованных в анализе экономико-социальных перемещений, например, туристическим организациям, желающим получить статистику за определенное время, авиакомпаниям, которым отрывается возможность планировать рейсы в том или ином направлении, а также государственным структурам с целью анализа миграционных потоков населения и выработке соответствующей стратегии их регулирования.
Ключевые слова: веб-система, социально-экономические перемещения, модель данных, общая архитектура, алгоритм Бойера-Мура; клиент-сервер; подсистема анализа
О предметной области исследований, связанной с социально-экономическими перемещениями людей
На сегодняшний день все большее число практиков и научных исследователей используют большие данные для измерения различных аспектов человеческой деятельности, включая мобильность человека. Например, такие наборы данных используются для регионального разграничения в различных масштабах [1, 2], классификации землепользования [3], оптимизации транспортировки и исследований в области транспорта [4], подсчета социально-экономических показателей городских кварталов [5], изучение туристического поведения [6] и многих других социальных наук.
В силу этого актуальным представляется разработка общей концепции и реализация системы складирования и обработки данных, связанных с различными видами деятельности людей, которая может быть рассмотрена в аспекте создания некоторого глобального хранилища данных [7, 8].
Исследование и обобщение предметных областей различной тематики является востребованным направлением исследований [9, 10]. Во-первых, в мире накоплены огромные массивы информации, часто достаточно разрозненной и воспринимаемой в отрыве от общей картины жизнедеятельности общества. Во-вторых, разработаны и разрабатываются различные методы, алгоритмы и методологии анализа
данных [11-13], которые используются для конкретной выборки или совокупности исследуемых данных. В-третьих, имеется достаточное количество необходимого программного обеспечения, технологий и методов формализации массивов данных, которые позволяют структурировать данные определенной тематики. С другой стороны, пример развития Всемирной сети показывает, что в едином информационном пространстве данные, практически, взаимосвязаны, порождены различными видами деятельности общества и следует рассматривать их в контексте цельного представления, но в рамках проекций определенного вида деятельности или взаимодействий.
Рассмотрим основные аспекты предметной области, связанной с социально-экономическими перемещениями людей.
Под перемещением населения или миграцией понимается его «механическое движение» по территории земного шара. Миграции могут бывают внешними и внутренними.
Внутренние миграции связаны с перемещением людей из одного региона страны в другой с целью поиска нового места проживания и/или работы. Внутренние миграции наблюдаются в пределах территории страны своего происхождения (например, миграция из сельской местности в города).
Внутренние миграции рассматривают перемещение людей за пределы своей страны, причем, можно выделить следующие виды внешней миграции:
- эмиграция - выезд граждан из своей страны в другую на постоянное жительство или достаточно длительный срок;
- иммиграция - въезд граждан в другую страну на постоянное жительство или достаточно длительный срок.
Кроме того, по длительности процесса перемещения миграции могут быть как краткосрочные (например, с целью туризма), так и долгосрочные (работа, учеба и т.п.)
Под данными об экономико-социальных перемещениях будем понимать количество людей, переехавших из одного географического региона в другой с учетом различных параметров, связанных с социальным, финансовым, экон-мическим, культурным и т. п. статусом людей.
Исследование экономико-социальных перемещений людей позволит с высокой степе-
нью достоверности выделить наиболее благоприятные географические объекты для людей в соответствии с определенными критериями их жизни и внутренними установками. Кроме того, возможно отслеживание общемировых тенденций как в плане экономико-социального развития, так и в плане благоприятности регионов для туризма в конкретные периоды времени.
В целом, движение населения носит возрастающий характер. Этому способствует процессы глобализации в современном мире, упрощение визового режима между странами, рост политической миграции и другие факторы. Отметим, что общая статистика не учитывает причины возникновения тех или иных тенденций, отсутствуют конкретные демографические, политические, социальные факторы, которые и являются первопричиной возникновения тех или иных миграционных потоков. Сбор статистических сведений, чаще всего, носит изолированный характер и представляет лишь численные показатели выбранных метрик. Полученные данные принимаются как отображение текущего положения.
Источники данных государственных учреждений, являясь общедоступными, не всегда легко поддаются обработке из-за отсутствия программного интерфейса и специфических форматов хранения. Такие ограничения, как правило, не позволяют легко использовать их при проведении анализа. Кроме возможностей анализа данных возникает также вопрос и отображения их в доступном виде, в частности, в виде различных графических визуализаций.
На основе статистических данных о миграциях и анализа сопутствующих данных возможно создание прогностического аппарата, способного на основе сопутствующих данных предсказать, например, темпы миграции в тот или иной регион.
Таким образом, предлагаемая разработка использует данные об экономико-социальных перемещениях людей. Причем, основным источником демографических и миграционных данных выбран веб-ресурс Организации Объединенных Наций [14], который имеет огромное количество информации о миграционных показателях в различных странах мира. Данные можно получить в виде файла. Этот ресурс является основным источником данных для разрабатываемого приложения.
Представления
Контроллеры
___— Модели
Рис. 1. Общая архитектура реализации
Для изучения внутренней миграции в конкретных странах можно использовать национальных ресурсов, например, таких как сайт европейской статистики Евростат [15] или сайт Национального статистического комитета Республики Беларусь [16http://www.belstat.gov.by/].
Общая архитектура приложения, связанного с миграционными данными
Система обработки социально-экономических перемещений использует клиент-серверной архитектуре и предназначено для предоставления пользователям наиболее актуальных данных экономико-социальных перемещений людей. Приложение организовывает процесс поиска данных и заполнения базы из сторонних источников. Для этого в системе разработан модуль для сбора и преобразования информации из сторонних Интернет-источников и отправки их в базу данных.
Система предоставляет неавторизованному пользователю возможность регистрации в си-
стеме, а также - фильтрации и просмотра информации.
Авторизованные пользователь может принимать одну из трех ролей: Администратор, Редактор или Пользователь.
Администратор должен обладать возможностью редактирования данных о пользователях, в том числе создавать новых, либо менять их роли. Остальные возможности Администратор должны совпадать с теми, которые предоставлены Редактору.
Редактор может добавлять, редактировать и удалять контент. В его обязанности входит обновление информации, связанной с экономико-социальными перемещениями людей.
Пользователю предоставляется возможность задания фильтрации данных экономико-социальных перемещений для дальнейшего анализа и визуализации.
Общая архитектура реализации системы и связи между уровнями изображены на рис. 1.
Система реализована в виде трех уровней, имеющих минимальные связи между собой: уровень базы данных; уровень, включающий доступ к данным; сервисный уровень; уровень, включающий бизнес-логику; уровень взаимодействия с пользователем.
Уровень базы данных представляет собой отдельный сервер, на котором развернута СУБД. Уровень базы данных связан с сервисным проецированием бизнес моделей на реляционные объекты базы данных с помощью Ре-позитория (компонент Repository). Репозито-рий также ответственен за работу с данными (сохранение, обновление, удаление, выборка). Основой репозитория является технология ADO. NET Entity Framework. База данных системы содержит информацию о пользователях системы, контент и статистические данные, связанные с социально-экономическими перемещениями людей.
Слой взаимодействия с базой данных содержит набор классов, представляющих модели данных из доменной области. На уровне этого слоя также реализуются классы-репози-тории, инкапсулирующие в себе подключение к базе данных и формирование запросов, представляя для клиента интерфейс, через который открывается возможность произведения CRUD операций над элементами базы данных.
Отдельно в архитектуре выделена система заполнения базы данных. Этот компонент взаимодействует с базой данных через слой взаимодействия и предназначен для формирования консистентных данных. На уровне этого модуля должны быть реализованы классы, взаимодействующие с внешними источниками данных. Задачей таких классов является загрузка специфических данных на сервер, их конвертация, с учетом структуры исходных файлов, а также- запись этих данных базу.
Параллельно со слоем заполнения базы данных находится слой сервисов, на котором представлены модули поиска и кластерного анализа статистических данных социально-экономических перемещений людей. Модуль поиска реализует в себе алгоритм Боейра-Мура, для дальнейшего использования совместно с модулем кластерного анализа при формировании релевантных результатов поиска. Модуль кластерного анализа реализует метод невзвешен-ного попарного среднего для выделения кла-
стеров на основе статистических данных. Оба модуля инкапсулируются слоем сервисов, который предназначен для предоставления данных внешним клиентам.
В качестве внешнего клиента выступает веб-приложение, которое представлено слоем бизнес логики и слоем представления. Слой бизнес логики взаимодействует со слоем сервисов для получения данных социально-экономических перемещений людей и результаты их анализа. Слой представления предназначен для визуализации полученных данных в виде диаграмм, графиков и таблиц.
Для создания системы используется программная технология. Net Framework компании Microsoft, язык С#, СУБД MS SQL SERVER, различные программные инструменты (Entity Framework, jQuery, amCharts), позволяющие решить поставленные задачи наиболее эффективным способом. В данном разделе описываются выбранные технологии и рассматриваются их основные преимущества.
О подходах к поиску и анализу данных
Алгоритм Боейра-Мура. Для поиска данных выбран алгоритм поиска по подстроке Бойера-Мура ([17], см. рис. 2).
Алгоритм сравнивает один за другим справа налево символы шаблона x, начиная с самого правого, с символами исходной строки y. Если все символы шаблона совпадают с наложенными символами строки, поиск закончен, т.к. подстрока найдена. В случае несовпадения некоторого символа (или полного совпадения всего шаблона) алгоритм использует две предварительно вычисляемых эвристические функции - сдвиг позиции вправо для начала сравнения. Таким образом, для сдвига позиции начала сравнения алгоритм Бойера-Мура выбирает между двумя функциями, которые называются эвристиками хорошего суффикса и плохого символа (другое название - эвристики совпавшего суффикса и стоп-символа). В силу того, что функции эвристические, выбор между ними осуществляется по итоговому значению.
Обозначим через S - алфавит. Пусть |y| = |n|, |x| = m, |S| = с.
Предположим, что в процессе сравнения возникает несовпадение между символом x[i] = a шаблона и символом y[i + j] = b исход-
Рис. 2. Блок-схема алгоритма Бойера-Мура
ного текста при проверке в позиции ]. Тогда х[/+1 ...т- 1]=у [/+/'+ 1...у+т-1]=и, х[7']#у[7+/] и т - / - 1 символов шаблона уже совпало.
Метод невзвешенного попарного среднего. Для анализа данных экономико-социальных перемещений людей был выбран метод не-взвешенного попарного среднего для определения кластеров.
Пусть требуется провести классификацию заданного множества объектов методом не-взвешенного попарного среднего. Перед началом работы алгоритма рассчитывается матрица расстояний между объектами: на каждом шаге в матрице расстояний находится минимальное значение, которое соответствует рассто-
янию между двумя наиболее близкими кластерами. Найденные кластеры и и V объединяются, образуя новый кластер k. Строки и столбцы, соответствующие кластерам и и V, выбрасываются из матрицы расстояний, и добавляется новая строка и новый столбец, соответствующие кластеру k. В результате матрица сокращается на одну строку и один столбец. Данная процедура повторяется до тех пор, пока не будут объединены все кластеры.
Пусть кластеры и, V и k содержат Ти, Ту и Тк объектов, соответственно. Кластер k образован путем объединения кластеров и и V, тогда Тк = Ти + Тч . Необходимо рассчитать удаленность кластера k от некоторого кластера ю.
USERS
User ID <pi> Inteoer <M>
Username Variable characters {50) <M>
Password Variable binary {50) <M>
Is Active Byte {50) <M>
Creation_Date Date <M>
UserJD <pi>
>о-
ROLES
Role ID <Di> Inteqer <M>
Role_ Name Variable characters {50) <M>
Role_ ID <pi>
DEMOGRAPHIC_DATA Attached
Demo_Data_lD Integer <M> _Date Date <M> _Value Integer <M> Parent_Geo_Object Integer <M>
Demo_Data_ID <pi>
Filter ID Filter Name
Integer
Variable characters
FilterJD <pi>
I ncl udeSourceGeoObj
Belong ;
MIGRATION_ DATA
M ¡oration ID <pi> Inteqer <M>
M igration_Date Date <M>
Migration_Value Integer <M>
Migration_ID <pi>
GEOGRAPHIC_OBJ ЕСТ
Geo Object ID <pi> Integer
<M>
_Mame ISO_Code I SO_Code_Local _Type
Variable characters (256) <M>
Variable characters {64) <M>
Variable characters (32) <M>
Short integer <M>
Geo_Object_ID <pi>
I ncl udeDesti rvationGeoObj
^ParentGeoObj
GeoQbj
Рис. 3. Фрагмент концептуальной модели данных, связанной с демографическими и миграционными показателями
Расстояние между этими кластерами определяется согласно формуле:
ТО + ТО
г\(/ \ \ и и,® V
В ((и,v ), ш) =-——-.
и V
Экспоненциальная аппроксимация линий тренда. Для прогнозирования определенных тенденций в сфере экономико-социальных перемещений людей используются линии трендов, причем, достаточно часто применяется экспоненциальная зависимость.
Экспоненциальная аппроксимация используется, как правило, в силу того, что у вводимых данных скорость возрастания входных данных достаточно велика. Однако существуют и ограничения использования такой аппроксимации, например, входные данные, не могут содержать нулевые или отрицательные характеристики.
В общем виде уравнение для экспоненциальной регрессии имеет следующий вид:
>> = аерх,
где у - значение функции, х - область определения функция, а и р - константы.
О концептуальном моделировании данных системы
Для построения модели данных системы [8] использовалась структурна методология и средство автоматизированного проектирова-
ния PowerDesigner. Определены сущности системы, их взаимосвязи, ограничения на данные, ограничения целостности и пользовательские ограничения (см. рис. 3).
Отметим, что указанный фрагмент модели данных используется для анализа данных, которые загружаются в систему через автоматизированный поиска.
Для создания системы используется программная технология. Net Framework компании Microsoft, язык С#, СУБД MS SQL SERVER, различные программные инструменты (Entity Framework, jQuery, amCharts), позволяющие решить поставленные задачи наиболее эффективным способом.
Клиентское веб-приложение
Основная задача веб-клиента - это отображение демографических и миграционных данных на интерактивной карте, см., например, рисунок 4 и рис. 5.
Анализируя линии трендов для определенных кластеров можно сделать прогноз о том, в каких пределах будет изменятся количество въезжающих людей в определенный регион. На рисунке 5 представлена карта въезжающих во Французскую Республику. Анализ линий трендов показывает, что кластер стран, состоящий из государств Северной Африки, таких как Марокко и Алжир, будет доминирующим в 20202025 годах по количеству выехавших граждан.
1990 1995 2000 2005 2010 2015 2017
Рис. 4. Линия тренда Французской Республики
Отметим, что веб-клиент содержит также модуль для администратора системы, позволяющий редактировать пользователей и добавлять новые данные для анализа.
На основе кластеризованных данных с помощью GoogleChartsApi можно построить необходимые графики. В листинге приведен пример визуализации данных в виде графика на основе кластеризованных данных.
Листинг 3.8. Реализация построения графика на основе кластеризованных данных
// Load the Visualization API and the corechart package.
google.charts.load('current', {'packages':['corechart']});
// Set a callback to run when the Google Visualization
API is loaded. google.charts.setOnLoadCallback(drawChart);
// Callback that creates and populates a data table,
// instantiates the pie chart, passes in the data and // draws it.
function drawChart() {
var elements = @Html.Raw(JsonConvert. SerializeOb-
ject(Model, Formatting. None)); var array = elements.map(function(item) { return [item[0], parseInt(item[1])]; });
// Create the data table.
var data = new google.visualization. DataTable(); data.addColumn('string', 'Country Name'); data.addColumn('number', 'Number of People'); data.addRows(array);
// Set chart options var options = {
'title': 'How much people immigrate', 'width': 400,
'height': 300 };
// Instantiate and draw our chart, passing in some options.
var chart = new google.visualization. PieChart(docu-ment.getElementById('@guid'));
chart.draw(data, options); }
При реализации клиентского приложения был использован паттерн проектирования MVC. Его концепция позволяет разделить данные, представление и обработку действий пользователя на три отдельных компонента.
Рис. 5. Карта эмиграций во Французскую Республику
Заключение
Таким образом, актуальным представляется разработка системы, связанной с экономико-социальными перемещениями людей, данные которой будут являться исходной информацией для универсальной системы хранения и обработки данных практико-ориентирован-ной направленности в контексте единого хранилища данных.
Предлагаемая система наряду с использованием в качестве первого уровня общей универ-
сальной системы на основе технологии складирования данных, может быть востребована широким кругом лиц, заинтересованных в экономико-социальных перемещениях, таким как, туристическим организациям, желающим получить статистику за определенное время, авиакомпаниям, которым отрывается возможность планировать рейсы в том или ином направлении, а также государственными структурами с целью анализа миграционных потоков населения и выработке соответствующей стратегии их регулирования.
ЛИТЕРАТУРА
1. Ratti, C. Redrawing the map of Great Britain from a network of human interactions // C. Ratti, S. Sobolevsky, F. Cal-abrese, C. Andris, J. Reades, M. Martino, R. Claxton, S. Strogatz / PloS ONE. - 2010. - V. 5, № 12. - P. 14248.
2. Hawelka, B. Geo-located Twitter as proxy for global mobility pattern // B. Hawelka, I. Sitko, E. Beinat, S. Sobolevsky, P. Kazakopoulos, C. Ratti / Cartography and Geographic Information Science. - 2014. - V.41, № 3. - P. 260-271.
3. Pei, T. A new insight into land use classification based on aggregated mobile phone data // T. Pei, S. Sobolevsky, C. Ratti, S. L. Shaw, T. Li, C. Zhou / International Journal of Geographical Information Science. - 2014. - V.289, № 9. -P. 1988-2007.
4. Santi, P. Quantifying the benefits of vehicle pooling with shareability networks // P. Santi, G. Resta, M. Szell, S. Sobolevsky, S. H. Strogatz, C. Ratti / Proceedings of the National Academy of Sciences. - 2014. - V.111, № 37. - P. 13290-13294.
5. Hashemian, B. Socioeconomic characterization of regions through the lens of individual financial transactions // B. Hashemian, E. Massaro, I. Bojic, J. M. Arias, S. Sobolevsky, C. Ratti / PloS ONE. - 2017. - V.12, № 11. - P. 0187031.
6. Bojic, I. Scaling of foreign attractiveness for countries and states // I. Bojic, A. Belyi,, C. Ratti, S. Sobolevsky / Applied Geography. - 2016. - № 73. - P. 47-52.
7. Рудикова, Л. В. Об общей архитектуре универсальной системы хранения и обработки данных практико-ориен-тированной направленности // Л. В. Рудикова / Системный анализ и прикладная информатика. - Мн.: БНТУ, 2017. -№ 2. - С. 12-19.
8. Рудикова, Л. В. О моделировании данных предметных-областей практико-ориентированной направленности для универсальной системы складирования и обработки данных// Л. В. Рудикова, Е. В. Жавнерко / Системный анализ и прикладная информатика. - Мн.: БНТУ, 2017. - № 3. - С. 19-26.
9. Belyi, A. Global multi-layer network of human mobility // Alexander Belyi, Iva Bojic, Stanislav Sobolevsky, Izabela Sitko, Bartosz Hawelka, Lada Rudikova, Alexander Kurbatski, Carlo Ratti / International Journal of Geographical Information Science. - 2017. - Volume 31. - P. 1381-1402.
10. Белый, А. Б. Данные сервиса Flickr и структура сообществ стран // А. Б. Белый, Л. В. Рудикова, С. Л. Соболевский, А. Н. Курбацкий / Международный конгресс п оинформатике: информационные системы и технологии = International Congress on Computer Sciens : Information Systems and Technologies : материалы Междунар. науч. конгресса, Минск, 24 окт.27 нояб. 2016 г. / БГУ; редкол.: С. В. Абламейко (отв. ред.) [и др.]. - Минск, 2016. - С. 851-855.
11. Рудикова, Л. В. О разработке системы для поддержки лазерной экспрессной экспертизы: монография / Л. В. Рудикова. - LAP LAMBERT Academic Publishing, 2014. - 134 с.
12. Барсегян, А. А. Методы и модели анализа данных: OLAP и DataMining / А. А. Барсегян, М. С. Куприянов, В. В. Степаненко, И. И. Холод. - СПб.: БХВ-Петербург, 2009. - 336 с.: ил.
13. Паклин, Н. Б. Бизнес-аналитика: от данных к знаниям / Н. Б. Паклин, В. И. Орешков. - СПб.: Питер, 2009. - 624 с.
14. United Nations [Electronic resource]. - Mode of access: [http://www.tandfonline.com/doi/full/10.1080/13658816.20 17.1301455]. - Date of access: [14.02.2018].
15. Eurostat [Electronic resource]. - Mode of access: [www.ec.europa.eu/eurostat]. - Date of access: [14.02.2018].
16. Национальный статистический комитет Республики Беларусь [Электронный ресурс]. - Режим доступа: [www.ec.europa.eu/eurostat]. - Дата доступа: [14.02.2018].
17. Алгоритм Бойера-Мура // Университет ИТМО [Электронный ресурс]. - Режим доступа: [https://neerc.ifmo.ru/ wiki/index.php?title=%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%91%D0%BE% D0%B9%D0%B5%D1%80%D0%B0-%D0%9C%D1%83%D1%80%D0%B0]. - Дата доступа: [14.02.2018].
REFERENCES
1. Ratti, C. Redrawing the map of Great Britain from a network of human interactions // C. Ratti, S. Sobolevsky, F. Cal-abrese, C. Andris, J. Reades, M. Martino, R. Claxton, S. Strogatz / PloS ONE. - 2010. - V. 5, № 12. - P. 14248.
2. Hawelka, B. Geo-located Twitter as proxy for global mobility pattern // B. Hawelka, I. Sitko, E. Beinat, S. Sobolevsky, P. Kazakopoulos, C. Ratti / Cartography and Geographic Information Science. - 2014. - V. 41, № 3. - P. 260-271.
3. Pei, T. A new insight into land use classification based on aggregated mobile phone data // T. Pei, S. Sobolevsky, C. Ratti, S. L. Shaw, T. Li, C. Zhou / International Journal of Geographical Information Science. - 2014. - V. 289, № 9. -P. 1988-2007.
4. Santi, P. Quantifying the benefits of vehicle pooling with shareability networks // P. Santi, G. Resta, M. Szell, S. Sobolevsky, S. H. Strogatz, C. Ratti / Proceedings of the National Academy of Sciences. - 2014. - V. 111, № 37. -P. 13290-13294.
5. Hashemian, B. Socioeconomic characterization of regions through the lens of individual financial transactions // B. Hashemian, E. Massaro, I. Bojic, J. M. Arias, S. Sobolevsky, C. Ratti / PloS ONE. - 2017. - V. 12, № 11. - P. 0187031.
6. Bojic, I. Scaling of foreign attractiveness for countries and states // I. Bojic, A. Belyi,, C. Ratti, S. Sobolevsky / Applied Geography. - 2016. - № 73. - P. 47-52.
7. Rudikova, L. V. On the general architecture of a universal data storage and processing system of practice-oriented orientation. Rudikova / System Analysis and Applied Informatics. - Mn.: BNTU, 2017. - № 2. - P. 12-19.
8. Rudikova, L. V. On modeling data of subject-areas of practice-oriented orientation for a universal system of data warehousing and data processing // L. V. Rudikova, E. V. Zhavnerko / System Analysis and Applied Informatics. - Mn.: BNTU, 2017. - № 3. - P. 19-26.
9. Belyi, A. Global multi-layer network of human mobility // Alexander Belyi, Iva Bojic, Stanislav Sobolevsky, Izabela Sitko, Bartosz Hawelka, Lada Rudikova, Alexander Kurbatski, Carlo Ratti / International Journal of Geographical Information Science. - 2017. - Vol. 31. - P. 1381-1402.
10. Belyi, A. B. Flickr service data and community structure of countries / A. B. Belyi, L. V. Rudikova, S. L. Sobolevsky, A. N. Kurbatski // International Congress on Computer Sciens: Information Systems and Technologies: materials of International Scientific Congress, Republic of Belarus, Minsk, 24 October. - 27 Nov. 2016. / BSU; rare: S. V. Ablameiko (editorial editors) [and others]. - Minsk, 2016. - P. 851-855.
11. Rudikova, L. About laser express expertise system implementation. Monography / Lada Rudikova. - LAP LAMBERT Academic Publishing, 2014. - 134 p.
12. Barseghyan, A. Methods and analysis data models: OLAP and DataMining / A. Barseghyan, M. Kupriyanov, V. Ste-panenko, I. Kholod - StP.: BHV-Petersburg, 2009. - 336 p.: il.
13. Paklin, N. Business-analytics: from data to knowledge / N. Paklin, V. Oreshkov. - StP.: Piter, 2009. - 624 p.
14. United Nations [Electronic resource]. - Mode of access: [http://www.tandfonline.com/doi/full/10.1080/13658816.20 17.1301455]. - Date of access: [14.02.2018].
15. Eurostat [Electronic resource]. - Mode of access: [www.ec.europa.eu/eurostat]. - Date of access: [14.02.2018].
16. National Statistical Committee of the Republic of Belarus [Electronic resource]. - Mode of access: [www.ec.europa. eu/eurostat]. - Date of access: [14.02.2018].
17. Algorithm Boyer-Moore // University ITMO [Electronic resource]. - Mode of access: [https://neerc.ifmo.ru/wiki/in-dex.php?title=%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%91%D0%BE%D0%B 9%D0%B5%D1%80%D0%B0-%D0%9C%D1%83%D1%80%D0%B0]. - Date of access: [14.02.2018].
Поступила После доработки Принята к печати
22.03.2018 05.05.2018 01.06.2018
Rudikova L. V., Danilchik V. V.
ON THE CREATION OF THE AUTOMATION SYSTEM RELATED TO SOCIAL-ECONOMIC MOVEMENTS OF PEOPLE
Yanka Kupala State University of Grodno
Nowadays, it is considerable to develop a general concept and implement a system for storing and analyzing data related to socio-economic displacements of people. The population movement, related to long-term and short-term migrations, has an increasing nature, which directly affects the various fields of activity in a single country and the world community as a whole. The proposed article describes the subject area associated with socio-economic displacements ofpeople, the key features of internal and external migrations are noted. Based on the subject area, the general architecture of the universal system of data storage and processing is proposed, which is based on the client-server architecture. A fragment of the data model, associated with the accumulation of data from external sources, is provided. General approaches of algorithms and data structures usage are proposed. The system architecture is described with the possibility of scaling both vertical and horizontal.
The proposed system organizes the process of searching for data and filling the database from third-party sources. To do this, a module for collecting and converting information from third-party Internet sources and sending them to the database has developed. In the paper is noted the feature of the client application, which provides a convenient interface for analyzing data in the form of diagrams, graphs, maps, etc. The system is intendedfor various users interested in analyzing economic and social transfers, for example, to tourist organizations wishing to obtain statistics for a certain time, to airlines which could plan flights in one direction or another, as well as for state structures with the purpose of analyzing the migration flows of the population and developing appropriate strategy for their regulation.
Keywords: web-system, socio-economic migration, data model, general architecture, Boyer-Moore algorithm; clientserver; analysis subsystem
Рудикова Лада Владимировна
Ул. Ожешко. 22, 212, Гродно, 230023, Беларусь
Тел. + 375 297 816 355; ГрГУ, зав. кафедрой «Современных технологий программирования», кандидат физико-математических наук
Lada Rudikova is the Head of Modern Programming Technologies Department of Yanka Kupala State University of Grodno (YKSUG). Ph. D. degree in physical and math.
The main line of her scientific researches - management theory, information systems design, databases, CASE, data mining, business intelligence. She actively participates in international conferences. She is the author of more than 280 scientific works and books related to computer technology and data processing, a technical writer of the publishing house «BHV-St. Petersburg». rudikowa@gmail.com
Данильчик Виктор Валерьевич
Ул. Ожешко. 22, 212, Гродно, 230023, Беларусь Тел. + 375 292 836 000, EPAM Systems, Software Engineer Viktar Danilchik is the software engineer at EPAM System. Master degree in computer science.
The main line of his scientific researches - object-oriented software design, information systems design, databases, CASE, data mining. iesekiel@gmail.com
Результаты работы получены в процессе выполнения ГПНИ «Разработка методологии и средств построения универсальных систем хранения, обработки и анализа структурированных данных большого объема практико-ориентированной направленности» (№ гос. регистрации 20162266).
