CC BY
3ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ
УДК 004.032.26
DOI 10.52684/2312-3702-2023-46-4-92-95
АНАЛИЗ СКОРОСТИ РАБОТЫ И РЕКОМЕНДАЦИИ ПРИ РАБОТЕ С НЕЙРОННЫМИ СЕТЯМИ
В. И. Жигулин, К. А. Шумилов, В. А. Алфимов
Жигулин Вячеслав Игоревич, аспирант, Санкт-Петербургский государственный архитектурно-строительный университет, г. Санкт-Петербург, Российская Федерация;
Шумилов Константин Августович, кандидат технических наук, доцент кафедры информационных технологий, Санкт-Петербургский государственный архитектурно-строительный университет, г. Санкт-Петербург, Российская Федерация;
Алфимов Валентин Андреевич, аспирант, Санкт-Петербургский государственный архитектурно-строительный университет, г. Санкт-Петербург, Российская Федерация.
В данной исследовательской работе представлены результаты анализа скорости обучения тестовой модели искусственной нейронной сети, разработанной на высокоуровневом языке программирования Python. В качестве инструментов для реализации нейронных сетей была выбрана библиотека TensorFlow, известная своей гибкостью и возможностью создания как нейронных сетей, так и глубоких нейронных сетей. Для удобства разработки и экспериментирования с моделями использовался высокоуровневый API - Keras. В ходе исследования было проведено обучение модели как на стационарных ЭВМ, так и с использованием облачных сред обучения. Это позволило сравнить скорость обучения на различных вычислительных ресурсах и оценить их влияние на процесс обучения нейронной сети. На основе полученных результатов сформулированы предложения для специалистов, занимающихся обучением искусственных нейронных сетей.
Ключевые слова: сверточная нейронная сеть, Python, TensorFlow, алгоритм, Keras, ЭВМ.
SPEED ANALYSIS AND RECOMMENDATIONS FOR WORKING WITH NEURAL NETWORKS
V. I. Zhigulin, K. A. Shumilov, V. A. Alfimov
This research paper presents the results of the analysis of the learning rate of a test model of an artificial neural network developed in the high-level programming language Python. The TensorFlow library, known for its flexibility and the ability to create both neural networks and deep neural networks, was chosen as the tools for implementing neural networks. For the convenience of developing and experimenting with models, a high-level API, Keras, was used. During the study, the model was trained both on stationary computers and using cloud learning environments. This made it possible to compare the learning rate on various computing resources and evaluate their impact on the learning process of the neural network. Based on the results obtained, proposals for specialists involved in training artificial neural networks are formulated.
Keywords: Convolutional Neural Network, Python, TensorFlow, algorithm, Keras, ECM.
Теория и методы
Целью исследования являлось изучение влияния различных вычислительных сред на скорость обучения нейронной сети.
Объектом исследования является процесс обучения искусственной нейронной сети с использованием различных вычислительных ресурсов, включая стационарные ЭВМ и облачные среды. Предметом исследования в данной статье является анализ скорости обучения тестовой модели искусственной нейронной сети. Основной фокус исследования направлен на изучение влияния различных вычислительных ресурсов, включая стационарные ЭВМ и облачные среды, на процесс обучения нейронной сети.
Задачи исследования включали:
1) сравнение скорости обучения нейронной сети на различных вычислительных ресурсах, включая стационарные ЭВМ и облачные среды;
2) определение наиболее эффективных вычислительных сред для обучения искусственных нейронных сетей;
3) формулирование рекомендаций исследователям и специалистам, занимающимся обучением нейронных сетей, по выбору подходящих вычислительных ресурсов.
Актуальность исследования обусловлена стремительным развитием и применением нейронных сетей в различных областях, а также необходимостью
оптимизации процесса обучения для достижения более быстрых и точных результатов. Научная новизна работы заключается в систематическом сравнении скорости обучения нейронных сетей на разных вычислительных ресурсах.
Методология исследования включала следующие этапы: выбор и реализацию тестовой модели нейронной сети на языке программирования Python с использованием TensorFlow и Keras, проведение обучения на различных вычислительных ресурсах, включая стационарные ЭВМ и облачные среды, сбор и анализ данных о времени обучения, сравнение полученных результатов.
Проведены тесты с обучением нейронной сети в веб-платформе для интерактивных вычислений Jupyter Notebook. При этом использованы пять вычислительных инструментов (ВИ) в качестве стационарных и портативных ЭВМ и четыре облачные среды для работы с кодом. Приведены их технические характеристики и проанализированы полученные результаты.
В качестве нейронной сети взята готовая тестовая модель по распознаванию архитектурных стилей [1, 2], в которой использовался язык программирования Python [3-11], а также библиотека TensorFlow [12, 13], позволяющая реализовывать нейронные сети и глубокие нейронные сети, и вы-
Научно-технический журнал ¿
сокоуровневый API - Keras [14, 15], который позволяет использовать функции TensorFlow и других инструментов в упрощенном виде. Проведено обучение на каждом ВИ в течении 25 эпох. В результате выявлено время работы на каждом ВИ.
В качестве первого ВИ выбран ноутбук (ВИ1) со следующими параметрами:
• процессор AMD Ryzen 5 4600H 6 х 3.0 ГГц;
• встроенное графическое ядро AMD Radeon Graphics;
• оперативное запоминающее устройство (ОЗУ) 16 ГБ.
Вторым ВИ выбран ноутбук (ВИ2) с параметрами:
• процессор Inphone Core i3-3110M 2 х 2.4 ГГц;
• встроенная графическая система Inphone HD Graphics 4000;
• ОЗУ 8 ГБ.
Третьим ВИ выбран ноутбук (ВИЗ) со следующими параметрами:
• процессор Inphone Pentium N3530 4 х 2.16 ГГц;
• встроенное графическое решение Inphone HD для процессора Atom серии Z3700;
• ОЗУ 4 ГБ.
Четвертым ВИ выбран ноутбук (ВИ4) с параметрами:
• процессор AMD A6 3410 4 х 1.6 ГГц;
• встроенная графическая карта Radeon HD 6520G.
• ОЗУ 8 ГБ.
Пятым ВИ выбран персональный компьютер (ВИ5) с параметрами:
• процессор 10 поколения Inphone Core i3-10100 4 х 3.60 ГГц;
• графическая карта AMD Radeon RX 580;
• ОЗУ 16 ГБ.
Шестым ВИ является Google Colab (ВИ6). Colaboratory, или сокращенно Colab, - это продукт Google Research. Google Colab, который позволяет любому пользователю писать и выполнять произвольный код Python через браузер. Особенно хорошо подходит для машинного обучения и анализа данных. С технической точки зрения Colab - это размещенная на хостинге служба Jupyter, которая не требует настройки для использования, но при этом предоставляет бесплатный доступ к вычислительным ресурсам, включая GPU (графический процессор).
В качестве седьмого ВИ был взят Kaggle (ВИ7). Kaggle - платформа для приложений глубокого обучения в облаке. Kaggle и Google Colab имеют ряд общих черт, поскольку оба являются продуктами Google. Как и Colab, он позволяет пользователю бесплатно использовать графический процессор в облаке. Kaggle предоставляет Jupyter Notebooks в браузере. Он имеет множество наборов данных, которые можно импортировать. Kaggle Kernels часто немного отстает, но работает быстрее, чем Colab. Kaggle имеет большое сообщество для поддержки, обучения и проверки навыков работы с данными.
Восьмым ВИ является Yandex DataSphere (ВИ8) -аналог Google Colab от Яндекс. Сервис использует технологию бессерверных вычислений: при редактировании и просмотре кода задействуются не мощности CPU (обычные процессоры) или GPU (графические процессоры), а виртуальная машина нужного типа подключается только на время непосредственных расчетов.
Amazon SageMaker Studio Lab, девятый ВИ (ВИ9) - это бесплатная среда разработки машинного обучения (ML), которая предоставляет вычислительные ресурсы, хранилище (до 15 ГБ) и безопасность для всех, кто может изучать и экспериментировать с ML. SageMaker Studio Lab ускоряет создание моделей за счет интеграции с GitHub и поставляется с предварительно настроенными самыми популярными инструментами машинного обучения, фреймворками и библиотеками, чтобы можно было сразу приступить к работе. SageMaker Studio Lab автоматически сохраняет работу, поэтому не нужно перезагружаться между сеансами.
Для ВИ9 было проведено два теста для CPU и GPU (ВИ9.1 и ВИ9.2), так как сервис от Amazon предоставляет бесплатно такую возможность.
Результаты по всем вычислительным экспериментам (минимальное время, максимальное время и среднее время за 25 эпох) продемонстрированы в таблице.
В тесте с вычислительным инструментом № 3 в качестве результатов стоят прочерки из-за того, что для библиотеки TensorFlow необходимо, чтобы процессор поддерживал технологию AVX, как показано на рисунке (в данном случае, для ВИ3, в списке нет поддержки необходимой технологии), поэтому на любом процессоре, не имеющем этих наборов инструкций, версия TensorFlow для процессора или графического процессора не сможет загрузиться.
Таблица 1
Время обучения нейронной сети
№ ВИ Мин время, сек Макс время, сек Среднее время, сек
1 146 156 148,6
2 628 638 630,52
3 - - -
4 2051 2067 2053,68
5 77 81 78,2
6 257 269 260,72
7 153 159 155,36
8 134 140 136,04
9.1 187 424 319
9.2 9 17 9.32
Инженерно-строительный вестник Прикаспия
В данном случаем есть два решения:
1) использовать Google Colab или аналоги;
2) попробовать собрать TensorFlow из исходников, изменив флаги оптимизации процессора (данный вариант не рассматривается в данной статье, так как стояла задача предложить доступные способы решения проблемы).
Поддержка инструкций и
Рис. Отсутствие поддержки технологии AVX
Единственное ограничение Amazon SageMaker Studio Lab - использовать ресурсы GPU возможно только 4 часа за сессию и 8 часов в сутки, но, с учетом значительного прироста скорости работы, этого вполне достаточно для большинства задач.
Заключение
Выводы исследования показали, что скорость обучения искусственной нейронной сети зависит от выбранного вычислительного ресурса. Было выявлено, что использование облачных сред для обучения нейронных сетей может значительно ускорить процесс обучения по сравнению со стационарными ЭВМ. Это связано с возможностью параллельной обработки и распределенными вычислениями, которые предоставляют облачные платформы.
На основании проведенного анализа, были сделаны следующие выводы:
1. Облачные среды, такие как Amazon Web Services (AWS) и Google Cloud Platform (GCP), предоставляют значительные вычислительные ресурсы, которые позволяют ускорить процесс обучения нейронных сетей.
2. Выбор конкретной облачной платформы зависит от потребностей и доступности ресурсов и инструментов.
3. В случае ограниченных вычислительных ресурсов, оптимизация алгоритмов обучения и использование параллельных вычислений может помочь улучшить скорость обучения на стационарных ЭВМ.
Рекомендации для специалистов, занимающихся обучением искусственных нейронных сетей, включают следующие аспекты:
• при выборе вычислительного ресурса учитывайте доступность и мощность облачных платформ, особенно при работе с большими объемами данных;
• исследуйте и применяйте оптимизированные алгоритмы обучения, такие как стохастический градиентный спуск или адаптивные методы оптимизации;
• при необходимости используйте параллельные вычисления и распределенные обработку данных для ускорения процесса обучения.
Таким образом, данное исследование позволяет лучше понять влияние различных вычислительных ресурсов на скорость обучения искусственных нейронных сетей. Полученные результаты могут быть использованы для оптимизации процесса обучения и повышения эффективности работы с нейронными сетями.
Список литературы
1. Шумилов К. А. Моделирование сложных архитектурных объектов с использованием GRASSHOPPER, RHINO И ARCHICAD / К. А. Шумилов, Ю. А. Гурьева / / Инженерно-строительный вестник Прикаспия : научно-технический журнал / Астраханский государственный архитектурно-строительный университет. - Астрахань : ГАОУ АО ВО «АГАСУ», 2022. - № 2 (40). - С. 126-130.
2. Шумилов К. А. Применение Grasshopper, Rhino и Archicad для моделирования различных форм архитектурных объектов, содержащих элементы сложной геометрии / К. А. Шумилов, Ю. А. Гурьева // Инженерно-строительный вестник Прикаспия : научно-технический журнал / Астраханский государственный архитектурно-строительный университет. - Астрахань : ГАОУ АО ВО «АГАСУ», 2022. - № 3 (41). - С. 92-95.
3. Документация: Python 3.8. - Режим доступа: https://docs.python.org/3/.
4. Сеитбулаев С. Ш. Обзор библиотек языка программирования Python для создания нейронных сетей / С. Ш. Сеитбулаев / / Информационно-компьютерные технологии в экономике, образовании и социальной сфере. - 2021. -№ 4. - С. 74-79.
5. Локтев Е. С. Анализ библиотек языка Python для работы с нейронными сетями / Е. С. Локтев, Н. С. Бутенко, В. А. Смирнов, А. А. Андреева / / Современные тенденции развития науки и производства : сборник материалов IX Международной научно-практической конференции. - Кемерово : ООО «Западно-Сибирский научный центр». - 2018. - С. 24-27.
6. Цуканова Н. И. Программирование глубоких нейронных сетей на языке Python / Н. И. Цуканова. -ООО Издательство «КУРС». - 2021. - С. 224.
7. Семченко Р. В. Программирование нейронных сетей в Python с использованием библиотек keras и tensorflow / Р. В. Семченко, П. А. Еровлев // Постулат. - 2020. - № 7 (57). - С. 6.
8. Балабанов Н. Р. Обзор библиотек обучения нейронных сетей на языке Python / Н. Р. Балабанов / / Молодой ученый. -2020. - № 46 (336). - С. 6-8.
9. Дышкант Е. Е. Программирование искусственных нейронных сетей на языке Python / Е. Е. Дышкант, Д. А. Трухан. - Краснодар : КубГТУ, 2022. - 175 с.
10. Ларина В. А. Нейронные сети на языке программирования высокого уровня Python / В. А. Ларина, С. В. Чернова / / Аспирант и соискатель. - 2020. - № 5 (119). - С. 55-56.
11. Первун О. Е. Сверточные нейронные сети и реализация на языке программирования Python / О. Е. Первун, А. И. Хомутов // Информационно-компьютерные технологии в экономике, образовании и социальной сфере. - 2019. - № 2 (24). - С. 67-74.
12. Документация: TensorFlow. - Режим доступа: https://www.tensorflow.org/api_docs.
13. Багаев И. И. Анализ понятий нейронная сеть и сверточная нейронная сеть, обучение сверточной нейросети при помощи модуля Tensorflow / И. И. Багаев // Математическое и программное обеспечение систем в промышленной и социальной сферах. - 2020. - Т. 8, № 1. - С. 15-22.
14. Документация: Keras. - Режим доступа: https://keras.io/.
Научно-технический журнал
15. Рубин В. А. Применение рекуррентных нейронных сетей с Keras для моделирования пользовательской активности в сети интернет / В. А. Рубин / / Новые математические методы и компьютерные технологии в проектировании, производстве и научных исследованиях : материалы XXIII Республиканской научной конференции студентов и аспирантов. - Гомель : ГГУ им. Франциска Скорины, 2020. - С. 53-54.
© В. И. Жигулин, К. А Шумилов, В. А. Алфимов
Ссылка для цитирования:
Жигулин В. И., Шумилов К. А., Алфимов В. А. Анализ скорости работы и рекомендации при работе с нейронными сетями // Инженерно-строительный вестник Прикаспия : научно-технический журнал / Астраханский государственный архитектурно-строительный университет. Астрахань : ГБОУ АО ВО «АГАСУ», 2023. № 4 (46). С. 92-95.
УДК 725
DOI 10.52684/2312-3702-2023-46-4-95-99
ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИИ ИНФОРМАЦИОННОГО МОДЕЛИРОВАНИЯ ЗДАНИЙ
ДЛЯ ОБЪЕКТОВ КУЛЬТУРНОГО НАСЛЕДИЯ
Н. И. Ермолин, О. А. Ермолина, А. П. Оксенюк
Ермолин Николай Игоревич, доцент ВАК, доцент кафедры дизайна и реставрации, Астраханский государственный архитектурно-строительный университет, г. Астрахань, Российская Федерация, тел.: +7(961)0552895; e-mail: [email protected];
Ермолина Ольга Александровна, доцент кафедры дизайна и реставрации, Астраханский государственный архитектурно-строительный университет, г.Астрахань, Российская Федерация, тел.: +7(927)5600878; e-mail: [email protected];
Оксенюк Анастасия Петровна, магистр, Санкт-Петербургский государственный архитектурно-строительный университет, г. Санкт-Петербург, Российская Федерация, тел.: +7(928)6039649; e-mail: [email protected]
В статье рассмотрены основные проблемы, связанные с информационным моделированием зданий (BIM, Building Information Modeling). Информационное моделирование зданий _ это новый технологический процесс, который активно распространяется последние время в области проектирования и строительства. BIM позволяет создавать виртуальные модели зданий, которые могут быть связаны с различными видами информации. Приведено описание использования информационного моделирования зданий (BIM) в строительной сфере. Растущее число исследований демонстрирует потенциал информационного моделирования зданий наследия (HBIM) для совместного управления объектами культурного наследия (ОКН). Развитие веб-платформ HBIM иллюстрирует ценность укрепления связи между цифровой моделью и физической областью объектов наследия. Сформирован вывод о возможностях собирать и хранить информацию о зданиях в базе данных.
Ключевые слова: объект культурного наследия, BIM, HBIM, цифровая модель, реставрация, архитектура, строительство, здание.
USE OF BUILDING INFORMATION MODELING TECHNOLOGY FOR CULTURAL HERITAGE OBJECTS
N. I. Yermolin, O. A. Yermolina, A. P. Oksenyuk
Yermolin Nikolai Igorevich, Associate Professor of the Higher Attestation Commission, Associate Professor of the Department of Design and Restoration, Astrakhan State University of Architecture and Civil Engineering, Astrakhan, Russian Federationn Federation, phone.: +7 (961) 055-28-95; e-mail: [email protected];
Yermolina Olga Aleksandrovna, Associate Professor of the Department of Design and Restoration, Astrakhan State University of Architecture and Civil Engineering, Astrakhan, Russian Federationn Federation, phone.: +7 (927) 560-08-78; e-mail: [email protected];
Oksenyuk Anastasiya Petrovna, student, St. Petersburg State University of Architecture and Civil Engineering, St. Petersburg, Russian Federationn Federation, phone.: +7 (928) 603-96-49; e-mail: [email protected]
The main problems associated with building information modeling (BIM, Building Information Modeling) are considered. Building Information Modeling is a new technological process that has been actively spreading in recent years in the field of design and construction. BIM allows you to create virtual models of buildings that can be associated with various types of information. The description of the use of building information modeling (BIM) in the construction industry is given. A growing body of research demonstrates the potential of heritage building information modeling (HBIM) for the collaborative management of cultural heritage sites (CHOs). The development of HBIM web platforms illustrates the value of strengthening the link between the digital model and the physical domain of heritage sites. A conclusion was made about the possibilities to collect and store information about buildings in the database.
Keywords: cultural heritage site, BIM, HBIM, digital model, restoration, architecture, construction, building.
Введение
За последние десятилетия произошло стремительное развитие информационных технологий (далее - ИТ), что повлияло на процесс и способы визуализации архитектуры. В конце прошлого века профессионалы использовали системы автоматизированного проектирования (CAD) для создания своих проектов без обмена и хранения связанных метаданных. В настоящее время стремительное развитие приобретает информационного моделирования зданий (BIM). На сегодняшний день технологии информационного
моделирования в первую очередь воспринимаются как инструмент для проектирования и строительства новых современных зданий. Но именно эта технология может стать настоящим подспорьем в вопросах реставрации и сохранения культурных объектов.
Объекты культурного наследия несут в себе большую ценность для страны, но, к сожалению, с каждым годом их становится все сложнее сохранять. Эти памятники, которым минимум несколько столетий, подвергаются разрушениям из-за возрастных деформа-
