CC BY
67
ПЕРЕВОДЫ
УДК: 159.93:7.017
М. Хаверкамп
ВИЗУАЛИЗАЦИЯ СЛУХОВОГО ВОСПРИЯТИЯ: ВЗАИМОСВЯЗИ, КОНЦЕПЦИИ, СИНЕСТЕЗИЯ
(Перевод с английского Е. Н. Стариковой)
Вступление
В течение, по крайней мере, одного последнего столетия вопрос о визуализации музыки вызывал все возрастающий интерес1. Он актуален и в настоящее время. Первоначально современные живописцы достигали музыкального выражения на холсте при помощи абстрактных форм и цветов. Существенной проблемой этого способа явилось преобразование временных, динамических особенностей слухового восприятия в статические визуальные изображения. Результат был лишь частично достигнут благодаря управлению восприятием посредством визуальных структур (как, например, в «Синхромии» Моргана Рассела и Стэн-тона Макдоналд-Райта) или увеличения формата по горизонтали (картина свитка Ганса Рихтера). Необходимо принимать во внимание то, что в то время как в прошлом описание музыки было ограничено изображениями музыкальных инструментов и музыкантов при помощи музыкальных аллегорий, в начале XX века внимание переместилось именно на нефигуративные (абстрактные) формы, аналогичные «абсолютной музыке». Позже, с развитием кино, стало возможным синхронизирование музыкального времени и визуального потока. Но вопрос обеспечения восприятия музыки при помощи визуальных элементов не был решен. Существует два различных подхода: использование нефигуративных (абстрактных) форм, которые коррелируют с музыкой (например, такой подход используется Оскаром Фишингером),
© М. Хаверкамп, 2015
© Е. Н. Старикова (перевод), 2015
и ассоциации к музыке, основанные на предметных формах (например, таковые используются в «Хронофонии» Чарльза Бланк-Гатти и в «Фантазии» Уолта Диснея). Цвет является и главной визуальной составляющей (у Александра Уолласа Римингтона и Александре Ласло), и декоративным элементом (у Фишинге-ра). Важная тема - чистая визуальная музыка, которая предназначена заменить, а не дополнить музыку вообще. В этом случае необходимы критерии для того, чтобы оценить ощущение корреляции слухового и визуального потоков определенным наблюдателем-слушателем.
Сознательные концепции против интуиции
В принципе, визуализация музыки в большом количестве может быть осуществлена на основе компьютеризированного анализа звука. Алгоритмы производят визуальные элементы, особенностью которых является - частично или в целом - корреляция с отобранными параметрами музыки. Опыт пользователей, однако, показывает, что многие из представленных решений далеки от того, чтобы быть правильно понятыми. Интуитивное правдоподобие может быть получено, только если произведенная визуализация соединена со слуховыми ощущениями посредством определенной тактики, которая осуществляется в пределах человеческой перцепционной системы2. Базовая модель включает три главных стратегии интуитивного сцепления:
- Аналогии на пересечении чувствований, включающие корреляции единичных ощущений - например, интенсивно-
сти, яркости, точности, движения, синхронности, и т. д.
— Иконическое сцепление, основанное на идентификации объектов и сцен - например, визуальные формы, подобные волнам и спадам, связанные с шумом водного всплеска.
— Аналогизация символического содержания - например, государственный гимн связывается с флагом.
Различные картины Пауля Клее демонстрируют параллелизм и взаимодействие уровней перекрестных чувствований, например, "Der Orden vorn hohen С" («Орден высокого До*, 1921 г.) и "Alter Klang" («Древний звук», 1925 г.). В связи с представлением о перекрестных сенсорных аналогиях, визуализация должна обратиться к трем измерениям звукового восприятия, то есть к временным, спектральным и пространственным признакам3. Элементарные формы играют видную роль в области перекрестного сенсорного сцепления. Простые, основные визуальные формы, описанные синестезией, показывают общие черты тех форм, которые являются спонтанно в условии полусна непосредственно до или после сна - гипногогичес-кое или гипнопомпическое состояния4. Кроме того, есть также общие черты с восприятием образов во время вызванных наркотическими препаратами галлюцинаций и возникающими последующими патологическими изменениями в пределах мозга. Восприятие синесте-тических форм, таким образом, предоставляет информацию, имеющую отношение к фундаментальным формам восприятия, осуществленного в визуальной системе, которые нуждаются в самостоятельном осознании. В тех случаях, когда эти канонические формы восприняты как световые структуры, они должны быть отнесены к фосфенам. Эти основные образцы изображения возникают также в случае электрического возбуждения визуального нерва. Наблюдаемые формы сопоставимы с элементами античного искусства, а также такими изображениями, как элементарные украшения керамики Каменного века,
и даже рисунками детей6. Исторически, многочисленные визуализации звука и музыки были основаны на элементарных формах. Эти формы создают, в свою очередь, визуальные «атомы», накапливаемые для изображения сложных, динамических структур. Коррелированные слуховые структуры, однако, трудно опознать. Они создают музыкальные последовательности, фрагменты мелодий или гармоний подобные самым маленьким фракциям звука. Двойственное отношение сложных структур, которые - в любой модальности - должны быть основаны на простых формах, является ключевой темой мультисенсор-ных художественных работ.
«Гигантские шаги» Джона Колтрэй-на — автор «визуализации» — Михал Леви
Михал Леви - и дизайнер, и музыкант. Как Джон Колтрэйн, она также играет на саксофоне. Родившись в Израиле, она теперь живет в США и работает менеджером по дизайну. Ее музыкальные мультипликации «Гигантские шаги» и «ОДИН» были очень хорошо приняты общественностью и экранизированы во многих странах6. В 2001 году была создана музыкальная мультипликация «Гигантские шаги». Здесь она обращается к теме и сокращенному импровизированному разделу части «Джаз» того же самого названия. Запись джазовым саксофонистом Джоном Колтрэй-ном была сделана в 1959 г. и издана в январе 1960 г.
Мультипликация идет две минуты. Визуализация основана на простых «элементах-блоках», которые начинают последовательно создавать образ небоскреба. Первый элемент - точка на «I» в слове «Гигант» (Giant), которая в трехмерном изображении преобразуется в красный куб. С этим кубом, в свою очередь, происходит метаморфоза: он превращается в пишущую ручку, начинающую рисовать здание-гигант. Ее движение, коррелированное со звучащей музыкой, сначала обрисовывает в общих чертах небоскреб, затем изоб-
ражает лестницу, перемещаясь вверх. Наконец, возникает городской пейзаж, создающий дополнение к дому. В этом пункте наступает момент, когда красный куб еще раз изменяет свою функцию, чтобы выступить в этот раз как стирающая все резинка и таким образом устранить структуру дома. Только здания городского пейзажа сохранятся, будучи разбитыми, наконец, на элементарные кубические кирпичики, которые в последний раз дрогнут, пока совсем не исчезнут. В конце остается один красный куб, преобразовывая себя назад в первоначальную форму - точку над "I" в слове Гигант.
Название музыкальной композиции «Гигантские шаги» первоначально относится к модуляциям в пределах широкого гармонического пространства, то есть между тональностями, далеко отстоящими друг от друга. Беря название буквально, визуализация показывает, как шаги формируют лестницу (огромного!) «музыкального здания». Основой мультипликации становятся перекрестные сенсорные аналогии. К примеру, изображение лестницы синхронизируется с характером музыкального звучания, структурами формы и становится аналогом зафиксированной в нотации визуальной высоты, для того чтобы настроить и коррелировать совместное визуальное и слуховое восприятие.
Кроме того, элементарные визуальные формы изображают ассоциативные символические архитектурные структуры, в которых на основе деконструирова-ния вскрываются противоречия составляющих их простых элементов. Этот процесс напоминает, что каждая визуальная структура может быть воспринята как композиция из простых элементов. Михал Леви сообщает, что ее мультипликации созданы под влиянием опыта подлинной синестезии: «Я вижу музыку. Когда я слушаю ее, появляется ее видение»7. В результате ее короткометражный фильм, составленный из узнаваемых всеми деталей, хорошо воспринимается широкой аудиторией.
2-я Симфония Густава Малера —
Визуализация Дясоханнса Деуча
2-я Симфония в до миноре, Симфония «Воскресения» Густава Малера стала музыкальной составляющей указанного проекта. Симфония была написана в период между 1888 и 1894 гг. Визуализация была разработана Джоханнсом Деу-чем (Вена, Австрия) для живого исполнения с симфоническим оркестром8, которое было осуществлено в сотрудничестве с Аре Электроника Футурелэб (Линц, Австрия) в 2004-20059.
Окончательная работа была представлена 1 января 2006 в филармонии Кёльна во время празднования 50-й годовщины немецкого радиовещательного сотрудничества — оркестром, руководимым Семеном Бычковым. Мультипликация участвует в представлении посредством цветовых образов, которые сопровождают смысловое развертывание музыки. Не теряя своей абстрактной формы, визуальные элементы раскрывают содержание тематических сфер этой симфонии: страдание, романтические чувства, ирония, любовь, сомнение и надежда. Визуализация, однако, не является прямой однозначной иллюстрацией, она следует за музыкальным содержанием, но становится своего рода музыкальной параллелью. По этому поводу Джон Деуч сказал: «Данная работа представляет собой комплексную интерпретацию, соединяющую вместе два прочтения, одно из которых выражено музыкально, а другое визуально».
Восемнадцать элементарных форм в визуализации симфонии являются носителями цветов и являются основой для различных структурных преобразований, будучи при этом составленными из элементов действительной окружающей среды. Целый пейзаж, однако, остается абстрактным. Единственное исключение возникает в 4 части («Первозданный свет»), где романтическая символика напоминает о том, как луна встает над ночным пейзажем, примерно сопоставимым с ирреальными пейзажами, развернутыми живописцем Максом Эрнстом. В отличие от того, чтобы быть предопределенной последовательностью анимации,
представление имеет интерактивный характер. Звуки музыкальных инструментов непосредственно влияют на пейзаж, вызывая синхронные световые эффекты, пульсацию объекта и движение визуальных образов. С этой целью датчики были присоединены ко множеству инструментов всего оркестра. Чтобы довести до конца творческие поиски, визуализация была применена для 3-мерного измерения, во время которого зрители наблюдали представление с помощью слуховых трехмерных очков.
Заключение Чтобы обеспечить интуитивное постижение композиции, визуализация музыки должна обратиться к перекрестной сенсорной связи, которая часто используется перцепционной системой, чтобы сформировать мультисенсорные модели внешнего мира. Нефигуративные, элементарные формы часто применяются в качестве объектов, соотносящихся с музыкой. Чтобы достичь прав-
доподобия, особенности этих объектов должны быть выбраны в соответствии с тем, что происходит в воспринимаемом слуховом потоке. Размер, цвет, положение и перемещения в пространстве - совпадающие параметры, которыми можно управлять. Кроме того, могут быть использованы символические функции визуальных изображений, которые обращаются к накопленному опыту повседневной жизни и использованию СМИ (телевидение, радио, РС, и т. д.). Так как сенсорный опыт человека обрабатывает многочисленные данные симультаниро-вания, каналы восприятия могут также быть оптимизированы параллельно. В этом смысле проанализированные визуализации музыки, авторами которых являются Михал Леви и Джоханнс Деуч, показывают, что экономное, но целеустремленное использование межчувственных сцеплений способно в будущем значительно активизировать восприятие и создание мультимедийных художественных композиций.
Примечания
1 Визуальная музыка ландшафта: http:// visualmusic.ning.com (дата последнего обращения 20.3.2010).
2 Синестетическое видение - Различные аспекты продуктивного творческого развития. Мюнхен, 2009.
3 Хаверкамп М. Смотри на то, что звучит! Визуальные аспекты слухового восприятия. Материалы третьего Международного Конгресса синестезии, науки и искусства. Гранада, 2009.
4 Состояния, сопровождающие сновидения в пси-
ходелическом опыте (комментарий автора перевода).
6 Суггестия у Эйхмайера, Джозефа и Хоффера Оскар. Мюнхен, 1974.
6 Интернет-источник: http://michalevy.com (дата
последнего обращения 20.03.2010).
7 См. там же.
8 Интернет-источник: http://www.aec.at/ index_de.php (дата последнего обращения 20.3.2010).
9 Опубликовано на DVD «Видение Малера», музыкальное издательство 101420/421, 2007. Смотри также интернет-источник: http:// www.johannes-deutsch.at (дата последнего обращения 22.03.2010).
Визуализация слухового восприятия: взаимосвязи, концепции, синестезия
В данной статье рассматриваются особенности визуализации на примере «Гигантских шагов» Джона Колтрэйна - Михал Леви и визуальной композиции Джоханнеса Деуча по Второй симфонии Густава Малера. Автор приходит к выводу, что истинное постижение союза музыки и визуализации возможно интуи-
Visualization of auditory perception: relationships, concepts, synesthesia This article discusses the features of the visualization on the example of «Giant Steps» by John Coltrane - Michel Levy and visual composition by Johannes Deutsch on Gustav Mahler's Second Symphony. The author concludes that the true comprehension of the union of music and visualization is possible
тивным путем посредством различных способов. Соединение визуализаций со слуховыми ощущениями должно происходить на основе пересечений чувствований в процессе соединения элементарных форм, иконического сцепления объектов и сцен, а также аналогизации символического содержания. В статье также раскрывается значение визуализаций для мультисенсорных художественных работ и мультимедийных композиций будущего.
Ключевые слова: визуализация, пересечение чувствований, синестезия, элементарные формы, корреляции.
intuitively via a variety of methods. Combination of visualizations and auditory sensations is to be based on the feelings intersecting in the process of the elementary forms merging, iconic connections of objects and scenes, and symbolic content analogizing. The article also reveals the importance of visualization for multisensory artwork and multimedia compositions of the future.
Keywords: visualization, feelings intersection, synesthesia, elementary form, correlation.
Хаверкамп M., доктор технических наук, Кёльн (ФРГ).
Старикова Елена Николаевна - аспирант (II год обучения) Новосибирской государственной консерватории им. М. И. Глинки. E-mail: [email protected]
Haverkamp M., Doctor of Technical Sciences, Cologne (Germany).
Elena Starikova - postgraduate student (II year) at the Glinka Novosibirsk State Conservatoire.
E-mail: [email protected]
