CC BY
168
РАКУРСЫ СОВРЕМЕННОЙ МУЗЫКАЛЬНОЙ
КУЛЬТУРЫ ASPECTS OF MODERN MUS^L CULTURE
DOI: 10.24411/2076-4766-2018-14013
А. В. КРАСНОСКУЛОВ
Ростовская государственная консерватория им. С. В. Рахманинова
МУЗЫКА И ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ: НА ПУТИ К БУДУЩЕМУ
а> 9 к
На всём протяжении 21 века мы переживаем высокотехнологическую революцию, «когда электронные, прежде всего компьютерные, системы, всё активнее входят в нашу жизнь и <...> каждый новый виток развития информационно-компьютерных систем стимулирует возникновение творческих экспериментов и, как следствие, появление новых синтетических и музыкальных форм, жанров, инструментов, звуковых технологий» [1, с. 97].
«Дополненная реальность», «виртуальная реальность», «смешанная реальность» как одни из слагаемых этой революции, несомненно, находятся на переднем крае научных исследований и технического прогресса. Как гласит лозунг, размещённый на главной странице одной из крупнейших международных конференций по виртуальной реальности (ISMAR), «дополненная реальность <...> оказывает сегодня значительное влияние на бизнес и всё человечество. Эта область - в значительной степени междисциплинарная, объединяющая цифровую обработку сигналов, компьютерное зрение, компьютерную графику, пользовательские интерфейсы, психологию, носимую электронику, мобильные устройства, компьютерные сети, дисплеи, сенсоры - и это лишь малая часть тех областей, где ощущается сильное воздействие этой "реальности"» [11]. Им вторит призыв конференции AWE: «Присоединяйтесь к нам, чтобы узнать, почему любая организация, любой инновационный проект и каждый инвестор должны погрузиться в дополненную реальность <...> - в противном случае, вы останетесь аутсайдером» [4].
Музыкальное искусство - как и любое другое - всегда стремится использовать существующие технологии для расширения возможностей творческого процесса, потому подобный градус
всеобщего интереса привлекает внимание сотен музыкантов и исследователей по всему миру к исследованию звуковых возможностей дополненной реальности.
Дополненная реальность - разновидность виртуальной среды или, как её обычно называют, виртуальной реальности. Виртуальные технологии полностью погружают пользователя в синтетическое окружение и во время «погружения» пользователь не может видеть реальный мир вокруг него. Напротив, дополненная реальность позволяет видеть объективную реальность с виртуальными объектами, наложенными или скомпонованными с существующими в действительности предметами. Поэтому дополненная реальность расширяет, а не полностью заменяет «константную» [2] реальность.
При том, что виртуальная реальность погружает в искусственный мир достаточно глубоко, дополненная реальность, до известной степени, позволяет достичь этого эффекта даже в большей степени, поскольку остаётся связь с реальным миром - том, в котором мы проводим большую часть нашей жизни.
Традиционно технологии дополненной реальности реализуются через отслеживание -с помощью камеры и программного обеспечения смартфона - какого-либо «маркера». Такими «маркерами» могут быть как специально подготовленные изображения (например, QR коды), так и любые изображения, объекты, звуки, данные о местоположении или даже сам человек. Данные «маркеров» обрабатываются и сравниваются с базой данных потенциально совпадающих цифровых объектов (каковыми могут быть 2D изображения, 3D объекты, звук, анимация и т. д.). Если есть совпадение, то соответствующий цифровой контент из базы накладывается «поверх» визуальной и/или звуковой реальности.
Дополненная реальность может восприниматься всеми органами чувств, а не только зрением. До настоящего времени, однако, в большинстве случаев усилия исследователей сосредоточены на смешении реальных и виртуальных изображений и графики. Однако дополненная реальность может быть расширена, в том числе в звуковой области.
Звук используется в виртуальной реальности для усиления ощущения эффекта «присутствия», увеличения иллюзии реальности цифрового мира. Как подчёркивает директор подразделения виртуальной и дополненной реальности компании Dolby Laboratories Дж. Сьюзал, «звук в виртуальной реальности -не роскошь, а необходимость» [6]. Аналогично, применение в дополненной реальности широкого спектра звуковых решений - от акустических эффектов до музыкальной интерактивности - обладает ещё большей силой «убеждения».
Звук может применяться в дополненной реальности вместе с визуальным и тактильным компонентами, но может быть задействован и сам по себе: в этом случае мы получаем отличную от традиционной, но не менее действенную область «звуковой дополненной реальности». Помимо того, что использование подобной технологии позволяет задействовать ещё один канал получения информации, оно также создаёт новые формы интерактивного взаимодействия и творческой вовлечённости.
В качестве примера такой интерактивности, назовём проект Moff Band [14], который представляет собой устройство, в котором жесты управляют звуком в контексте спортивной и свободно-творческой игры (проект нацелен, прежде всего, на детскую аудиторию). Браслет использует встроенные акселерометр и гироскоп для определения движений рук, которые совершает ребёнок. Выбранные звуковые эффекты воспроизводятся в реальном времени, чтобы соответствовать этим движениям, и включают звуки барабанов, гитар, мечей и спортивных состязаний.
Другой подход к интерактивности в дополненной реальности - проект «Konstruct» [12], являющийся примером реализации дополненной реальности, где звуком своего голоса можно создавать виртуальные скульптуры. Это необычный взгляд на дополненное аудио, поскольку вместо традиционного пути - создавать звук как следствие визуального процесса, - предлагается сделать звуковой процесс приоритетным, создавая абстрактные изображения (в сущности, набор трёхмерных моделей), анализируя смартфоном параметры звучания голоса (громкость, высоту, уровень шумов и т. д.).
Уже несколько десятилетий в области исследований звука и музыки с применением компьютерных технологий - в том числе с использованием возможностей и особенностей дополненной реальности - проводится большое число различных научных конференций. Часть из них сконцентрирована исключительно на музыкальной проблематике [8; 15; 16], на некоторых конференциях музыкальное направление представлено «на равных» с наработками в визуальной и технической областях [9; 10; 11].
Наиболее полная картина исследовательской деятельности дополненной реальности в музыкальной и звуковой сферах складывается при анализе материалов двух крупнейших специализированных конференций - международной конференции по компьютерной музыке (1СМС) [8] и международной конференции по новым интерфейсам музыкальной выразительности (ММЕ) [16].
Учитывая относительную новизну технологий и практик дополненной реальности в любых проявлениях, неудивительно, что пока общее число исследований по данной проблематике, в целом, значительно уступает другим исследованиям. Однако, здесь необходимо учитывать тот факт, что зачастую вопросы дополненной реальности рассматриваются не отдельно, а в контексте «виртуальной» и «смешанной» реальностей.
Так, на конференции 1СМС за последние 20 лет (с 1997 года) было опубликовано около 3000 исследований различной проблематики, из них 190 (6,4%) посвящены непосредственно дополненной, виртуальной и смешанной реальностям (соответственно, 36 (1,2%), 134 (4,5%) и 20 (0,7%) статей). Следует отметить, что первое упоминание дополненной реальности происходит лишь в 2000 году, что отражает объективный момент появления данной технологии.
Исследователи на конференции №МЕ не менее заинтересовано подходят к изучению вопросов различных «реальностей»: всего здесь опубликовано 200 работ соответствующих тематик, что составляет достаточно внушительные 12,1% от общего числа опубликованных трудов (всего 1650 работ). В рамках этой конференции дополненная реальность выглядит вполне «конкурентной» виртуальной реальности и значительно опережает по масштабу исследований реальность смешанную (дополненная реальность - 80 статей (4,8%), виртуальная реальность - 89 (5,4%), смешанная реальность - 31 (1,9%)).
Изучая материалы конференций 1СМС и №МЕ, хорошо видно, что проблематика дополненной реальности применительно к музыкальному искусству находится в постоянной дина-
мике. В целом, интерес исследователей к сфере дополненной реальности в количественном
■ 1СМС
выражении выглядит следующим образом (см. Диаграмму 1):
□ 1\11МЕ
1
1 1 1 II
1 1 II1 II 1 1 1 и У 1 1п 1 II 1 п и
Диаграмма 1. Количество статей, посвящённых дополненной реальности, в материалах конференций 1СМС и ММЕ с 2000 по 2018 годы
Исследователи музыкальных и звуковых возможностей дополненной реальности, в действительности, довольно широко трактуют само понятие «дополненная». Оно, в большинстве случаев, не совпадает с общепринятым, что неизбежно, поскольку, как было отмечено ранее, дополненная реальность приоритетно трактуется как визуальное явление. В случае же приложения принципов «расширения» существующей реальности к звуковой области мы встречаем и расширение реального пространства реальными же объектами (где звуковой компонент не является «дополнением», продолжая существовать в «привычной» форме) [7], и преобразование визуальной дополненной реальности в музыкально-звуковую (определяемую исследователями
как «расширенная аудиосреда» [18, с. 513]), и проецирование изображения на гриф музыкального инструмента с последующими звуковыми манипуляциями через захват движений (здесь предлагается термин «спроецированная дополненная реальность» [13, с. 279]) и т. п.
При всём разнообразии описанных подходов, исследования в области «звуковой» дополненной реальности можно объединить, соответственно используемым технологиям, в пять ключевых направлений (см. Диаграмму 2): захват движения, взаимодействие через осязательный интерфейс, распознавание образов, расширение физической реальности и дополненная реальность (в традиционном понимании).
Диаграмма 2. Распределение направлений исследований (по количеству статей) на конференциях 1СМС и ММЕ с 2000 по 2018 годы
Расширение физической реальности осуществляется исследователями в основном двумя способами - либо через взаимодействие с физическими объектами в реальном пространстве, либо через трансформацию реального акустического пространства виртуальными звуковыми элементами.
Первый способ позволяет иначе взглянуть на привычный мир, расширяя, одновременно, слуховые представления, ведь использование обычных предметов в непривычном контексте может пробуждать творческую фантазию. Второй способ чаще всего осуществляется вне помещений (например, при перемещениях по улицам города). Компьютер (используются ноутбуки, смартфоны, носимая электроника) анализирует звуки окружающего пространства, а также биологические параметры участника исследования (например, датчиками снимаются данные пульса) и, в зависимости от получаемых результатов, «подмешивает» определённые синтетические звуки и музыкальные фрагменты в общую акустическую картину, ускоряет или замедляет их звучание и т. п.
Для достижения эффекта дополненной ау-диосреды, исследователи применяют различные технологические приёмы, в том числе используют специально сконструированные наушники с расположенными снаружи микрофонами. Наушники воспроизводят звук, который является сочетанием реального звука окружающего пространства, полученный микрофонами и любого другого, в той или иной степени синтезированного сигнала. Кроме того, наличие микрофонов даёт возможность также «маскировать» или скрывать звуки окружающей среды. Хотя последнее и непросто, существующие наработки в области звукового анализа, нейронных сетей и искусственного интеллекта позволяют это сделать уже сегодня (с той или иной степенью надёжности).
В том, что касается технологии захвата движений (трекинга), очевидно, что наравне с расширением физической реальности это направление доминирует в исследованиях, проводимых в рассматриваемой области. Стремление глубже разобраться с переводом жестов из «аналоговой» в «цифровую» плоскость вполне ожидаемо, поскольку, во-первых, жест является важным компонентом музыкальной и сценической выразительности, и, во-вторых, достижение точности распознавания движений остаётся наиболее значительной проблемой, с которой сталкиваются при использовании систем дополненной реальности. Как отмечают исследователи, «методы взаимодействия, калибровка, отображение и программная реализация <...> подробно изуча-
ются уже долгое время, поскольку технологические возможности систем дополненной реальности продолжают оставаться сдерживающим фактором» [3, с. 60].
Если первоначально в исследованиях дополненной реальности для захвата движений рук и пальцев использовались специальные перчатки-трекеры, а позднее - установленные на голове или воротнике камеры, то в последнее десятилетие в научных трудах чаще применяются устройства (Kinect, Leap Motion), позволяющие анализировать всё пространство сцены. Весьма распространённым подходом в исследованиях является также распознавание движений пальцев музыканта на грифе музыкального инструмента или клавиатуре.
Для создания более глубокого погружения в среду дополненной реальности, крайне важной является возможность не только взаимодействовать с цифровыми объектами, но и иметь с ними обратную связь. «Тактильное взаимодействие предоставляет большие возможности - констатируют Ч. Агарвал и Н. Такур, - поскольку используемые физические объекты хорошо знакомы и это позволяет их легко использовать. Мы можем применить аналогичную концепцию к дополненной реальности, где возможно скомбинировать интуитивную понятность реальных физических объектов как устройств ввода информации с расширенными возможностями отображения на экранах путём накладывания виртуальных изображений» [3, с. 62]. К сожалению, пока возможности интерфейса в дополненной реальности ограничиваются реальными физическими объектами - столом, стеной, сенсорным дисплеем, - взаимодействие с которыми осуществляется либо через проекцию на них цифрового изображения, либо с применением так называемых «мультитач» дисплеев.
«Распознавание образов» и «дополненная реальность» базируются на традиционно понимаемом «визуальном» подходе к реализации технологии: изображение физической реальности воспринимается камерой носимого устройства (чаще смартфона, реже - специализированных устройства типа HoloLens), анализируется программным обеспечением с последующим отображением на экран поверх реальной сцены графических элементов, трёхмерных объектов и «сцен» с виртуальными музыкантами. Разумеется, все появляющиеся виртуальные объекты различным образом - пространственно, динамически и т. д. - соотнесены с музыкальными фрагментами и/или отдельными звуками, складываясь в итоге в некую музыкальную партитуру. В этом направлении также встречаются исследования и проекты - как правило, образовательной
направленности, - в которых воспроизводится звучание музыкальных инструментов при наведении на соответствующее тому или иному инструменту изображение.
Дополненная реальность проделала большой путь, но ей предстоит пройти ещё немало. Выход же на широкую аудиторию возможен лишь в случае прорывов в исследовательской области, приводящих, в итоге, к развитию устройств дополненной реальности, их техническому усовершенствованию и удешевлению, когда станет возможным свободно использовать системы дополненной реальности в повседневной жизни.
Вместе с тем, «дополненная реальность - уже не просто технология; речь идет о том, как мы хотим жить в реальном мире с её помощью и как мы будем развивать накопленный опыт, который, в итоге, поможет всему человечеству. Дополненная реальность, несомненно, радикально
изменит то, как мы живем, работаем и развлекаемся», - убеждена Г. Папагианнис [17, с. 29].
Звуковая дополненная реальность - относительно новая область, где большая часть исследований проведена лишь в последние годы. Из-за многочисленных проблем и неизведанных путей в этой сфере она останется активной областью исследований, по крайней мере, в ближайшие несколько лет. Как предполагал в 1997 году Р. Адзума, «в течение следующих 25 лет, вероятно, мы сможем носить пару очков дополненной реальности на природе, наблюдая и взаимодействуя с визуально реалистичными динозаврами, поедающими деревья на лужайке перед нашим домом» [5, с. 377]. По нашему мнению, этот прогноз имеет все шансы осуществиться; несомненно, тогда же стоит ожидать и значимых прорывов в области звуковой дополненной реальности. Что ж, ждать этого момента осталось недолго...
ЛИТЕРАТУРА
1. Красноскулов А. «Расширенная» реальность музыки // Экспериментальные формы современного музыкального искусства сб. статей. Ростов н/Д: Издательство РГК им. С. В. Рахманинова. 2015. С. 97-107.
2. Носов Н. Манифест виртуалистики. URL: http://www.virtualistika.ru/vip_15.html.
3. Agarwal C., Thakur N. The Evolution and Future Scope of Augmented Reality // International Journal of Computer Science Issues. 2014. V. 11. № 6. С. 59-66.
4. AWE - Augmented World Expo. URL: https://augmentedworldexpo.com.
5. Azuma R. A Survey of Augmented Reality // Presence Teleoperators & Virtual Environments. 1997. V. 6. № 4. С. 355-385.
6. Collins K. Dolby's stereoscopic virtual reality proves utterly terrifying. URL: https://www. wired.co.uk/article/dolby-jaunt-virtual-reality-black-mass.
7. Ferris K., Bannon L. The Musical Box Garden // Proceedings of the International Conference on New Interfaces for Musical Expression. 2002. С. 56-58.
8. ICMC - International Computer Music Conference. URL: http://www.computermusic.org/ page/23.
9. IEEE Virtual Reality Conference. URL: http://ieeevr.org.
10. International Conference on Virtual Reality. URL: http://www.icvr.org.
11. ISMAR - The IEEE International Symposium on Mixed and Augmented Reality. URL: http:// ismar.net.
12. Konstruct. URL: http://apps.augmatic. co.uk/konstruct.
13. Loviscach J. Projecting Finger Placement Onto The Fretboard // Proceedings of the International Computer Music Conference. 2009. C. 279-282.
14. Moff Band. URL: http://www.moff.mobi.
15. MuMe - International Workshop on Musical Metacreation. URL: http://musicalmeta-creation.org.
16. NIME - The International Conference on New Interfaces for Musical Expression. URL: http:// www.nime.org.
17. Papagiannis H. Augmented Human: How Technology Is Shaping the New Reality. O'Reilly Media, 2017. 150 c.
18. Settel Z., Wozniewski M., Bouillot N., Cooperstock J. Audio Graffiti: A Location Based Audio-Tagging and Remixing Environment // Proceedings of the International Computer Music Conference. 2009. C. 513-516.
» REFERENCES
1. Krasnoskulov A. «Rasshirennaya» realnost muzyki ["Augmented" reality of music] // Eksperimentalnye formy sovremennogo muzykalnogo iskusstva [Experimental forms of the modern music art]: collection of articles. Rostov-on-Don: Rachmaninov Rostov State Conservatory Press 2015. P. 97-107.
2. Nosov N. Manifest virtualistiki [Manifest of virtualistics]. URL: http://www.virtualistika.ru/ vip_15.html
3. Agarwal C., Thakur N. The Evolution and Future Scope of Augmented Reality // International Journal of Computer Science Issues. 2014. V. 11. № 6. P. 59-66.
4. AWE - Augmented World Expo. URL: https://augmentedworldexpo.com.
5. Azuma R. A Survey of Augmented Reality // Presence Teleoperators & Virtual Environments. 1997. V. 6. № 4. P. 355-385.
6. Collins K. Dolby's stereoscopic virtual reality proves utterly terrifying. URL: https://www. wired.co.uk/article/dolby-jaunt-virtual-reality-black-mass.
7. Ferris K., Bannon L. The Musical Box Garden // Proceedings of the International Conference on New Interfaces for Musical Expression. 2002. P. 56-58.
8. ICMC - International Computer Music Conference. URL: http://www.computermusic.org/ page/23.
9. IEEE Virtual Reality Conference. URL: http://ieeevr.org.
10. International Conference on Virtual Reality. URL: http://www.icvr.org.
11. ISMAR - The IEEE International Symposium on Mixed and Augmented Reality. URL: http:// ismar.net.
12. Konstruct. URL: http://apps.augmatic. co.uk/konstruct.
13. Loviscach J. Projecting Finger Placement Onto The Fretboard // Proceedings of the International Computer Music Conference. 2009. P. 279-282.
14. Moff Band. URL: http://www.moff.mobi.
15. MuMe - International Workshop on Musical Metacreation. URL: http://musicalmetacreation.org.
16. NIME - The International Conference on New Interfaces for Musical Expression. URL: http:// www.nime.org.
17. Papagiannis H. Augmented Human: How Technology Is Shaping the New Reality. O'Reilly Media, 2017. 150 p.
18. Settel Z., Wozniewski M., Bouillot N., Cooperstock J. Audio Graffiti: A Location Based Audio-Tagging and Remixing Environment // Proceedings of the International Computer Music Conference. 2009. P. 513-516.
МУЗЫКА И ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ: НА ПУТИ К БУДУЩЕМУ
Последние десятилетия происходит процесс значимых изменений, когда цифровые технологии трансформируют модели нашего восприятия, преображают то, как мы видим и слышим окружающую действительность. Развитие компьютерных систем приводит к видоизменению и обогащению как человеческого опыта в целом, так и художественного сознания. Дополненная реальность, будучи частью этих новаций, расширяет наши ощущения и способы взаимодействия с реальным миром. Виртуальные объекты (в том числе, звуки и музыка) являются тем информационным содержанием, которое невозможно получить иначе, чем внедрением цифровых элементов в окружающую действительность. Данная статья анализирует проведённые за последние 20 лет исследования в сфере дополненной реальности,
изучает текущее состояние этой научной области применительно к музыкальному искусству. На материале крупнейших международных конференций по компьютерной музыке даётся характеристика основных направлений, по которым проводятся исследования «звуковой» дополненной реальности, суммируется научный опыт, описываются существующие подходы, проблемы и пути их решения. В связи с недостаточной исследованностью области «расширенного аудиопространства» в российском музыкознании, данная статья также может служить отправной точкой для более глубокого изучения вопросов дополненной реальности в художественном контексте.
Ключевые слова: дополненная реальность, виртуальная реальность, интерактивная музыка, 1СМС, ММЕ
MUSIC AND AUGMENTED REALITY: ON THE WAY TO THE FUTURE
The last decades there is a process of significant changes, when digital technologies transform the models of our perception, transform how we see and hear the reality. The development of computer systems leads to the modification and enrichment of both human experience and artistic consciousness. Augmented reality, being a part of these innovations, enhances our perception of and interaction with the real world. The virtual objects (including sound and music) are the information that the user cannot get in other way than including digital objects into real environment. This paper analyze research being done in the field of augmented reality for the last
20 years, reviews current state-of-the-art in augmented reality in music. The analysis of the proceedings of international computer music conferences (ICMC and NIME) gives key approaches in the "sound augmented reality", describes and summarizes work performed by many researches and explains problems encountered when building AR systems. This article provides a starting point for deeper research in area of interconnection between sound, music and augmented reality.
Key words: augmented reality, virtual reality, interactive music, ICMC, NIME
Алексей Владимирович Красноскулов
кандидат искусствоведения, профессор Ростовская государственная консерватория им. С. В. Рахманинова Россия, 344002, Ростов-на-Дону e-mail: rostcons@yandex.ru
AlexeyV Krasnoskulov
PhD in Musicology, Professor Rachmaninov Rostov State Conservatory Russia, 344002, Rostov-on-Don e-mail: rostcons@yandex.ru
