CC BY
253
Г. КРЕСС*
СОЦИАЛЬНАЯ СЕМИОТИКА И ВЫЗОВЫ МУЛЬТИМОДАЛЬНОСТИ1
Аннотация. Мир семиотики, который мы все еще воспринимаем нормальным, изменяется очень быстро. «Язык», со всей уверенностью считающийся на «Западе» гарантом того, что определенно является человеческим, рациональным, необходимым для рефлексии, способным выразить любой аспект человеческого существования, оспаривается в этой занимавшейся им до сих пор центральной позиции другими средствами конструирования смыслов. Соответствующий вызов известен под именем мультимодальности, и он будет иметь далеко идущие последствия для эпистемологии и онтологии в целом, а с ними и для всех аспектов культуры.
Ключевые слова: модусы; мультимодальность; социальная семиотика; модулярность; линейность; дизайн; речь; письмо; язык; изображение; семиотическая работа; экстралингвистические средства.
G. Kress
Social semiotic and the challenge of multimodality
Abstract. It was confidently assumed in the 'West' that language is the guarantor of what is distinctively human, rational, essential for reflection, capable of expressing every aspect of human life, but the semiotic world is changing rapidly. So now language is being challenged in its present dominant position by other means of repre-
* Кресс Гюнтер, доктор философии, профессор Института образования Университетского колледжа Лондона, Лондонский университет (Великобритания), e-mail: g.kress@ioe.ac.uk
Kress Gunther, UCL Institute of Education, University of London (London, United Kingdom), e-mail: g.kress@ioe.ac.uk
1 Перевод с английского выполнен при финансовой поддержке РГНФ в рамках научного проекта № 16-23-20009 «Семиотика политического дискурса: трансдисциплинарный подход».
sentation (modes). That challenge goes by the name 'Multimodality', and it will have far-reaching effects on epistemology and ontology, and with that on all aspects of culture.
Keywords: modes; multimodality; social semiotics; modularity; linearity; design; speech; writing; language; image; semiotic work; extralinguistic means.
Мир семиотики, который «мы» - поколение тех, кому около 40 или больше, - все еще воспринимаем нормальным, изменяется очень быстро, а в некоторых аспектах изменяется неузнаваемо (out of recognition). «Язык», со всей уверенностью считающийся (на «Западе») гарантом того, что определенно является человеческим, рациональным, необходимым для рефлексии, способным выразить любой аспект человеческого существования, оспаривается в этой занимавшейся им до сих пор центральной позиции другими средствами конструирования смыслов, другими средствами формирования идентичности. Соответствующий вызов известен под именем мультимодальности (multimodality). Данная статья освещает некоторые моменты, связанные с этим вызовом, и задает вопросы относительно того, какое значение и какие последствия могут иметь связанные с этим вызовом допущения.
Если в лингвистике отправной точкой для мышления или работы выступает «язык», понимаемый как речь или письмо, то в мультимодальности «материальные» ресурсы языка в своей многочисленности и своем разнообразии выходят далеко за пределы речи и письма. Слово материальные здесь используется в значении, отсылающем к тем феноменам, которые доступны средствам восприятия, (человеческому) сенсориуму.
Постоянно расширяющееся присутствие мультимодальных текстов в мире в целом уже имеет формирующее воздействие на «центральные» аспекты устной и письменной речи, так же как и на принципы композиции более высокого уровня: будь то синтаксический (например, формы и типы предложений), текстуальный (интратекстуальные и экстратекстуальные единицы и явления, такие как разбивка на абзацы, организация текста, формы текстуального связывания (forms of cohesion / coherence)), голосовой или другие принципы (например, тон голоса, интонация, принципы и ресурсы создания смысла, помимо синтаксических и лексических).
Очевидно также воздействие мультимодальности на сферу смысла и коммуникации, и вместе с этим на социальное значение речи и письма. Изменение в среде смысла и коммуникации будет
сопровождаться широкой реконфигурацией места, занимаемого «языком», в социальном / культурном / семиотическом / эпистемологическом мирах: он довольно быстро утеряет свое нынешнее центральное место, которое будет замещено другими модусами (modes). Последствия этого для эпистемологии и онтологии в целом, а с ними и для каждого аспекта культуры, сейчас не могут быть по-настоящему оценены.
Указанные эффекты будут иметь далеко идущие последствия. Например, то, что до сих пор делалось с помощью речи или письма, будет делаться с помощью других семиотических средств. Понятие может быть объяснено уже не «словами», а изображением или жестами. То есть если раньше язык рассматривался как ресурс, который предлагает «метаязык» с его «метаформами», то теперь другие модусы берут на себя роль обеспечения «метаформами», специфичными для конкретных модусов. Все чаще мультимодаль-ные знаковые композиции вытесняют привычные, в большинстве своем исключительно письменные тексты. Это уже, очевидно, относится к коммуникативным практикам и представлению информации в «новых медиа». Все это изменит наше настоящее, а также до сих пор традиционное и относительно безопасное ощущение того, для чего нам нужны речь и письмо. Все это разворошит, а потом и разрушит наше (все еще) присутствующее представление о центральном положении речи и письма в социально-семиотическом мире.
В этой турбулентной (социальной и) семиотической среде каждый элемент влияет на все другие. Это относится и к решающему фактору, не упоминавшемуся до сих пор: влиянию современных культурных технологий, вовлеченных в процесс производства смыслов и распространения смыслов-как-текста (meaning-as-text). Говоря о «технологиях», я имею в виду целый ряд социально сконструированных культурных ресурсов, которые участвуют в создании значащих материалов (meaning materials); оказывают формирующее влияние в отношении производимых смыслов и участвуют в отображении (display) и распространении этих смы-слов-как-текстов. Они являются, во-первых, технологиями представления (technologies of representation) - модусами (modes), используемыми при изготовлении значащих материалов (meaning materials); во-вторых - технологиями производства (technologies of production) как материальных ресурсов вроде ручек, бумаги, приборов (цифровых и не цифровых), так и нематериальных семиоти-
ческих ресурсов вроде жанров, фреймов, средств связывания (cohesive devices), дискурсов; в-третьих, они являются технологиями отображения / дистрибуции / распространения смыслов-как-сообщений (display / distribution / dissemination of meanings-as-messages), т.е. медиа в широком значении слова, как традиционными, так и новыми. Все это имеет особое влияние на процесс создания текстов-как-сообщений.
В социальных и гуманитарных науках мультимодальность -явление новое: ему пока еще не больше 20 лет. Тем не менее энергичное и полное энтузиазма распространение данной концепции означает, что уже существуют значительные различия как в понимании и использовании соответствующего термина, так и в эмпирическом взаимодействии с мультимодальностью.
Контуры мультимодальности в теории социальной семиотики
Не представляется возможным говорить «от имени» муль-тимодальности, ведь не существует никакого согласованного определения мультимодальности как таковой. Во-первых, будь то в данной дискуссии или в других, в использовании термина мультимодальность часто имеют место неясность и неустойчивость: непонятно, что имеется в виду: наименование самого явления во «внешнем» социально-семиотическом мире или название «подхода» - теории об исследованиях и практиках вокруг этого явления.
Во-вторых, наполнение термина и его использование зависят от интересов и потребностей практиков, исследователей или теоретиков. Отношение к термину мультимодальность и его использование в общей области гуманитарных и социальных наук варьируются в широком спектре: от того, что можно было бы охарактеризовать как «позицию здравого смысла» (common sense positions), к «позиции теории» (theory-based positions). Среди этих позиций также наблюдаются существенные различия. Исследователи и теоретики, придерживающиеся позиции, основанной на здравом смысле, как правило, оставляют на периферии свои существующие теоретические рамки и допущения без изменений, разве что с какими-то «поверхностными» поправками. Те же, кто придерживается позиции, основанной на теории, как правило, интегрируют мультимодальность в теоретические рамки, которые ис-
пользуют. Проясню свою собственную позицию: она основывается на теории, сфера интересов которой сосредоточена вокруг проблем смысла (meaning), производства смыслов (meaning-making), производителей смыслов (meaning-makers) и агентивности (agency). Используемая мной теоретическая рамка - это социальная семиотика, для которой все эти вопросы находятся в фокусе.
«Позиция здравого смысла» может быть выражена такой репликой, как: «Знаете, я всегда занимался мультимодальностью» -со многими вариациями, например: «Мультимодальность была всегда; в этом нет ничего нового»; «когда я читаю роман, я очень хорошо осознаю его мультимодальность, скажем, в диапазоне метафор, в нем используемых»; «конечно же, я обращаю внимание на образы, где бы они ни использовались»; или «что заставляет вас думать, что язык и письмо больше не важны?». Лингвист может сказать раздраженно: «Разумеется, я отдаю себе отчет в том, что есть "тон голоса" и "выражение лица"; и да, я знаю, что это значит! Но экстралингвистические характеристики - не моя забота: на то они и экстра-лингвистические!». В рамках этих распространенных позиций, будь то в практической деятельности или в исследованиях, мультимодальность часто рассматривается как «добавление еще чего-то, чему стоит уделить внимание». «Добавление» ощущается как «увеличение рабочей нагрузки», «увеличение сложности исследовательских материалов» или как «рассеивание внимания, отвлечение от реальной направленности работы» и т.д. В ходе проведения исследований возражения могут возникнуть в форме: «Скажи мне, у кого есть время на расшифровку всего этого?».
«Позиция добавления» бьет мимо цели. Ведь как и во всех усилиях по теоретизированию, цель здесь состоит в том, чтобы наилучшим образом разобраться, каков «мир, попавший в кадр» («the world in the frame»), и понять, как его можно описать. На самом общем уровне цель состоит в том, чтобы добиться всеобъемлющего преобразования взгляда на проблемную область и превратить этот новый взгляд в общепринятый базис научных исследований и практической деятельности.
На другом конце спектра представлены «позиции теории». Здесь мультимодальность (в «сильном смысле») рассматривается как составляющая интегрированная, когерентная область источников по вопросам, занимающим центральное место в соответствующей дисциплине и теории. Учитывая новизну мультимодаль-
ности, ни саму эту область с попытками ее теоретизирования, ни ее категории и сущности нельзя считать полностью изученными, описанными, установленными. Большинство ученых, работающих с мультимодальностью, понимают, что многие, если не все культурные ресурсы для представления, включенные в рамки мультимо-дальности, были ранее объектом продолжительного и пристального внимания в ряде других отдельных дисциплин. История искусства имеет дело с изображением; психология - с жестами; литературоведение - с письмом; киноведение - с движущимися изображениями, освещением, музыкой, звуковым сопровождением; антропология -с танцем. В каждом случае соответствующая дисциплина привнесла свои вопросы в изучение конкретного культурного ресурса - изображения или, скажем, движения - и разработала собственное понимание этого ресурса с точки зрения своих специфических вопросов. Часто несколько дисциплин уделяют внимание одному и тому же ресурсу, и не менее часто одна дисциплина уделяет внимание сразу нескольким ресурсам.
Мультимодальность - не теория; она очерчивает область социально-семиотического действия и взаимодействия - как с исследовательской, так и с прикладной точки зрения. Иными словами, мультимодальность называет и описывает область для работы, но она не является теорией. Тем не менее раз уж есть некоторая расширенная область рассмотрения, то есть и потребность в интегрирующей теоретической рамке, которая была бы полностью приспособлена для всех входящих в рассматриваемую область сущностей и позволяла бы их объяснять. И в то время как мульти-модальность фокусирует внимание на области рассмотрения, теория - ею может быть социальная семиотика - предоставляет категории и инструменты (их большую часть).
Все, кто работают с мультимодальностью (в качестве исследователей, теоретиков, практиков), работают в рамках своей конкретной дисциплины и ее теорий. Это обеспечивает, явно или нет, интегрированный подход к мультимодальности, а также к соответствующим дескриптивным и аналитическим инструментам (их большинству). Это может быть археология, теория музыки, психология, музееведение, педагогика. Конкретная дисциплина и теория совместно формируют виды вопросов, которые ставятся перед мультимодальностью или, наоборот, которые стало возможным поставить в широких рамках мультимодальности. Социальной се-
миотикой как всеохватывающей и интегрирующей теорией виды вопросов уже в основном сформированы - это вопросы о смысле и производстве смыслов, о ресурсах для производства смыслов и о социальных агентах как производителях смыслов, а также о характеристиках среды, в которой эти агенты действуют. Существенны при этом риторически ориентированные вопросы агентивности (agency) и аудиентивностей (audiences), а также вопросы о распределении власти.
Категории социальной семиотики отображают социальные интересы и потребности сообществ, члены которых выработали и оформили свои семиотические ресурсы, а также постоянно их (пере)оформляют. Они включают в себя как материальные средства, модусы (modes), так и нематериальные - концептуальные средства, категории, которые формируют социальный и культурный мир. Это категории для представления сущностей, действий и отношений; это жанры, фреймы, формы текстуального связывания (forms of cohesion); категории осмысления времени, пространства; виды реализма и фактуальности и т.д. В социальном семиотическом подходе к мультимодальности все модусы вместе с этими нематериальными семиотическими категориями составляют одну интегрированную область культурных и / или семиотических ресурсов сообщества.
На данной стадии разработки понятия мультимодальности важно поставить вопрос о том, какие теоретические допущения могут предоставить единый и согласованный подход к мультимо-дальности как «проекту».
Минимально таких допущений два или, может быть, три. Первое таково: «языка» самого по себе, будь то в качестве речи или в письменной форме, уже недостаточно в качестве «единственного», «центрального», «магистрального» пути доступа к основополагающим вопросам некоторых дисциплин. Второе допущение может быть следующим: все модусы в совокупности составляют интегрированный ресурс, при этом каждый из модусов реализует специфические значимые характеристики своих аффордансов1 (affor-
1 Аффорданс (от англ. affordance «возможность», от англ. afford «предоставлять, позволять себе») - побудительное, «приглашающее» качество объекта, показывающее способ использования этого объекта. Термин используется в психологии и дизайне. - Прим. пер.
dances). Третье: если рассматриваются несколько модусов, независимо от используемой теории, все они должны быть теоретическим образом интегрированы на каком-то уровне общности.
Мульти- в слове мультимодальность предполагает, что существует целый ряд модусов, общедоступных для воспроизводства всеми членами сообщества. Многие (хотя и не все) модусы встречаются в широком диапазоне сообществ: таковы, например, письменность, жесты, изображения. С другой стороны, устная речь является модусом, недоступным для членов сообщества людей «с нарушениями речи».
Мультимодальность в социальном мире
Способы оформления материальных «вещей» в модусы будут различаться в соответствии с тем, каковы характерные для того или иного общества насущные и всех затрагивающие вопросы, практики, ценности, потребности, требующие средств артикуляции, а также в зависимости от того, какие аффордансы «присущи» материалу, из которого обществом сформированы модусы. Ценность семиотических ресурсов неизбежно будет варьироваться в зависимости от сообщества. Социальный / культурный / семиотический мир каждого сообщества зависит от того, как ценятся, воспитываются и развиваются те или иные средства восприятия. В семиотическом мире тех, кто не «имеет» «зрения», звуки и «слух» будут иметь совершенно иное положение, нежели в «зрячем» сообществе.
Разные сообщества «заселяют» свой социальный мир разными «именами». То, что требовало (требует) способа «быть проявленным», получает (может получить) имя или другое знаковое средство в определенном модусе (жест, изображение и т.п.). Такие потребности могут совпадать в различных сообществах, но это необязательно, и именно поэтому возникают «семиотические пробелы» (semiotic gaps) не только в устной и письменной речи, но и во всех модусах, используемых в сообществах. Случай модуса жестикуляции наиболее очевиден для большинства из нас. Не будучи французом, я осознаю проблему «жестикуляционных пробелов» в моем семиотическом репертуаре, когда нахожусь во Франции. В отношении жестикуляции, как во всех других случаях, будут
иметь место взаимодополняемость и различность как между сообществами и внутри одного сообщества, так и между их культурными / модальными ресурсами. Лексические пробелы в речи или явные различия в жестикуляции указывают на социальные отношения, из-за которых не возникает запроса на появление соответствующих имен или, например, жестов. Того, в чем сообщество не нуждается, оно не производит.
Наличие нескольких модусов способствует взаимнодопол-няемости (complementarity) в дизайне модальных ансамблей: то, что является недостающим «здесь», в этом модусе, вероятно, будет присутствовать «там», в другом модусе. Два или три (или даже больше) модусов, используемых в сочетании друг с другом, могут совместно предоставлять средства для выражения того, что создатель сообщения хочет выразить.
Как уже было сказано, по разным причинам определенные модусы не могут существовать в некоторых сообществах. Многие сообщества по всему миру до сих пор не развили свой способ оставления следов на поверхности до модуса письма. А там, где этот способ был выработан, он, конечно же, был выработан очень по-разному. Это видно из существования глубоко различных систем письменности и разных задач, для решения которых этот материальный / семиотический ресурс использовался. Назначением письменности могла быть фиксация разных культурно значимых факторов - исторических, экономических, мифологических и других. Если модус отсутствует в данном сообществе, то причиной этого может быть то, что его присутствие не было важно для эффективного функционирования данного сообщества. Сообщества людей «с нарушениями речи» не могут развить модус устной речи; вместо этого они развили материальные аффордансы диапазона телесных средств производства знаков, используя в качестве средств артикуляции телесные и двигательные комбинации - жесты, мимику и т. д., получив в итоге семиотический модус высокой сложности: четырехмерный модус, сочетающий логику времени и пространства.
При коммуникации несколько модусов всегда используются вместе, образуя модальные ансамбли (ensembles of modes), в которых средства каждого модуса используются для задач, которые, как кажется производителю знаков, в определенной ситуации наиболее точно выполняются именно этим модусом. Использование сочетаний модусов предоставляет более полный набор средств для
передачи смысла, по сравнению с относительно скудными возможностями языковых модусов устной и письменной речи, особенно в том смысле, в котором их понимают лингвистические теории.
Материальные «вещи» обладают присущими им качествами и характеристиками, их можно рассматривать в качестве семиотического потенциала для формирования модусов. Звук существует во времени, т.е. он сопряжен с логикой темпоральности; скульптура и неподвижное изображение располагаются в пространстве и поэтому сопряжены с его логикой. Но несмотря на то что звук и жест подчиняются логике времени, их материальности отличаются. И оба они отличаются от, скажем, модуса (неподвижного) изображения или любых модусов трехмерных объектов: как в терминах пространственных и / или временных различий, так и в аффордан-сах материала (material affordances), которые каждый из модусов -звука или жеста - использует для выработки материализованного смысла. С учетом различий в характеристиках исходного материала социально-семиотический подход рассматривает речь и письмо в качестве отдельных модусов и фокусируется на специфических аффордансах, характерных для каждого из них. Такие расхождения в аффордансах вытекают как из материальных различий, так и из особенностей социального развития этих модусов. Стало быть, можно говорить о языке как о неточной и вводящей в заблуждение категории; и это становится особенно явственным, когда мы имеем дело с обществами с неалфавитной письменностью.
Мультимодальный ансамбль - полученный в результате дизайна комплекс различных модусов (designed complex of different modes) - можно рассматривать либо как знаковый комплекс (sign-complex), либо как текст. В первом случае упор делается на его модальной композиции; во втором - на его объектной функции, обычно в процессе интеракции: например, при рассмотрении в качестве «сообщения». Производитель смысла объединяет знаки разных модусов в семантически когерентное целое. Каждый из знаков (в своем специфическом модусе) играет определенную роль в составлении смысла всего ансамбля, с точки зрения производителя. То есть смысл в целом возникает из вклада каждой части в ее взаимодействии со всеми другими частями. Комплексный модальный ансамбль является результатом семиотической работы (semiotic work) по дизайну, выполняемой его производителем. В качестве сообщения этот ансамбль становится предметом последующей се-
миотической работы по интерпретации-как-редизайну (interpretation-as-redesign), выполняемой тем, кто провзаимодействует (engage) c сообщением / ансамблем. Если учесть, что комплексный смысл (как для изначального производителя (maker), так и для последующего переработчика (re-maker)) зависит от всех частей рассматриваемого ансамбля / текста, то становится очевидным, что вклад каждого элемента в отдельности, каждого знака в каждом модусе обеспечивает лишь часть смысла целого, т.е. вклад каждого модуса в общий смысл лишь частичен, парциален.
Из парциальности модусов следует ряд глубоких выводов. Если каждый модус парциален, то устная речь и письмо тоже парци-альны (помимо того, что они существенным образом друг от друга обособлены). Это подрывает давнее, уже даже представляющееся естественным предположение о достаточности «языка» для удовлетворения всех потребностей человека, связанных с социальностью, репрезентацией и коммуникацией. Это свойство языка прежде рассматривалось как его эксклюзивная характеристика. Теперь же возникает предположение о том, что пока мы ограничиваем себя изучением «языка», мы имеем дело лишь с парциальными смыслами комплексного сообщения. И вопрос о «языке» в мультимодальности -это вопрос о том, в какой степени устная речь или письмо, а равно и другие модусы, в этом комплексном сообщении парциальны.
С точки зрения мультимодальной перспективы социальной семиотики нецелесообразно и неуместно отдавать предпочтение тому или иному виду модуса. Скорее, релевантными и помогающими что-то понять вопросами могли бы быть следующие: каких целей позволяет достичь каждый из модусов? Что может сделать один из модусов, чего другие не могут? Какие социальные оценки существуют в отношении каждого из модусов и в отношении того, что каждый из модусов делает?
Современный мир коммуникации
В условиях разнообразия аудиторий на первый план выходят вопросы риторики и дизайна: какие модусы лучше всего соответствуют социальным характеристикам той или иной аудитории, в связи с данным контентом, с данными платформами? Сфера ди-
зайна обширна и сложна, в ней все точки и все уровни связаны между собой.
Возьмем, например, дизайн такого мультимодального комплекса, как интернет-сайт. Дизайн «платформы» сайта связан с дизайном его композиционного потенциала, который в свою очередь связан с дизайнерской задачей по выбору модуса, подходящего для данной аудитории и данного контента. И все это связано с дизайном всего модального ансамбля с точки зрения его общего макета (layout) и внешнего вида (look). Ставя во главу угла позицию аудитории, дизайнер должен принять решение о том, какие платформы могут быть предпочтительными, какие принципы композиции могут соответствовать (или, наоборот, противоречить) ожиданиям аудитории. Принципы композиции - например, линейность или, наоборот, модульность - должны быть усвоены и интегрированы в дизайн. Дизайн - это предмет множества взаимосвязанных решений, связанных с выбором. Все в нем делается после предварительной риторической оценки среды, в которой происходит коммуникация. Задача дизайна как подбора и расположения ресурсов выполняется в соответствии с критериями, которые должны быть четкими. Речь идет о принципах выбора с учетом целого ряда факторов: выбора модуса, наиболее адекватного аудитории, содержанию, дизайну платформы и макета.
Модульность является семиотическим индикатором (означающим) определенного социального фактора (означаемое), и здесь это, как можно предположить гипотетически, - фактор фрагментарности. Отношения с аудиторией устанавливаются на основе предоставления ей выбора из некоторого набора возможностей -практически как в неолиберальной модели рынка. Например, «посетителю» веб-сайта предоставляется агентивность в принятии решения о том, как войти на этот сайт, - он выбирает в качестве точки входа элемент в соответствии со своим интересом. Линейность же, напротив, проявляет себя как семиотический индикатор старого образца социальных отношений (конвенционально закрепленного иерархического порядка): «вы» как читатель должны следовать порядку, указанному автором. Модульность предполагает, что «дизайнеры сайта собрали материал, который вас заинтересует, и вы сами решаете, как хотите взаимодействовать с ним, -можете войти туда, куда указывает вам ваш интерес». Линейность же предполагает, что «мы, авторы, собрали материал для вас и ор-
ганизовали его в таком порядке, который делает его осмысленным и который вы сочтете полезным при условии, что будете следовать маршрутом, предложенным вот здесь».
Читатели линейно организованного текста признают авторитет автора, принимают порядок материала, установленный автором. Они позволяют задуманной авторским дизайном связности письменного текста направлять их. Они следуют традиционным правилам чтения. Текст же, организованный по модульному принципу, предлагает «темы» («topics»), отобранные командой разработчиков для посетителя площадки (site) и представленные в соответствии с дизайном в виде модулей с изображениями и фрагментами письменного текста. Эти «модули» не расположены в каком-то очевидном порядке или приоритетности. Читателю оставляют возможность самому, руководствуясь собственными интересами, выбирать, каким образом и в каком месте он желает войти на сайт и как осуществлять «навигацию» по нему.
Семиотические особенности линейности и модульности реализуют фундаментальные социальные различия. Глубокие социальные изменения усиливаются технологиями представления, а также технологиями отображения / дистрибуции / распространения, очевидным образом проявляющимися во множестве эффектов экрана, используемого в качестве площадки отображения (site of display). На переднем плане оказывается дизайн, основанный на том, как ритор оценивает ситуацию общения, а не компетентное выступление (competent performance) в соответствии с установленными конвенциями.
Эти виды задач, эти виды текстов стали теперь совершенно обычными. Возникает вопрос: что необходимо в плане теории для того, чтобы разобраться с той композиционной / коммуникационной данностью, которую мы уже сейчас имеем?
Например, письмо и изображение, а также тексты, полученные с их использованием, предлагают различные средства, различные точки зрения, иногда альтернативные друг другу, иногда друг друга дополняющие, а порой и противоречащие друг другу. Онтологически и гносеологически два эти модуса разнонаправленны. Ни про один из них нельзя сказать, что он лучше достигает своих целей, нежели другой. Хотя институциональная власть и общественные оценки - например, в формальных образовательных учреждениях -еще могут утверждать иначе. Изображение дает возможность ком-
муницировать тем, кто (пока) не может писать; она позволяет тем, кто производит рисунки, делать сильные «заявления» о своем мире. В этом отношении образы можно рассматривать как визуальные эквиваленты словесных стихов.
Смысл мультимодальности как раз заключается в исследовании потенциала различных имеющихся средств выражения взглядов, позиций и фактов, а также в создании возможностей воспроизводства того, что лучше всего подходит для конкретной задачи или под конкретную потребность. Визуальное «утверждение» («statement») - мир показанный - «схватывает» аспекты мира, «попавшего в кадр», которые отличаются от вербального «утверждения», позволяющего понять мир рассказанный.
Как модусы, изображение и письмо предлагают различные линзы, обеспечивают различные точки зрения. Но изображение может побудить к размышлениям в не меньшей степени, чем, скажем, стихотворение. Даже если это происходит (гносеологически и стилистически) совершенно по-разному и с использованием совершенно разных ресурсов.
Для того чтобы получить представление о композиционных принципах и процессах, проявляющихся в мультимодальном тексте или в отдельных его частях, будь то веб-сайт или любой другой текст, можно использовать такие процессы, как коммутация или субституция, заимствованные из структуралистских лингвистических теорий. Коммутация (инвертирование порядка выбранных элементов внутри структуры) может показать, какие семиотические / смысловые эффекты производит или может производить изменение в способе упорядочения элементов. Это позволяет обнаружить, что мы имеем дело с «позициями» в структуре. Субституция показывает, какие элементы / единицы могут находиться на той или иной позиции, и таким образом выявляет классы сходных элементов.
Применение коммутации и субституции к мультимодаль-ным текстам обнаруживает композиционные позиции и элементы, принципы и смысловые эффекты, которых в письменных текстах не существует. То есть существуют элементы, которые не эквивалентны, скажем, «субъекту» или «объекту», «предложению» или «параграфу». Эти элементы относятся к ресурсам мультимодаль-ного производства текстов и к текстам другого вида. Их «синтаксис» - их принципы композиции - приводит к появлению смы-
слов, характерных для текстов такого рода, но не тех, что конституируются модусом письма.
Выше я уже прибегал к использованию некоторых терминов и категорий, не относящихся к лингвистике. Потребность в таких понятиях становится все более очевидной, будь то при анализе того, как информация представлена на экране или на страницах журнала. Лингвистика не может предоставить всех средств, необходимых для работы с такими способами представления информации, хотя некоторые из предоставляемых ею инструментов и можно использовать. Мультимодальность, однако, пока и сама не в состоянии обеспечить такой комплексный инструментарий. Она предлагает некоторые термины (например, оркестровка (orchestration), муль-тимодальный комплекс (multimodal complex), знак (sign), комплексный знак (complex sign), знаковый комплекс (sign-complex), модульность (modularity), аффорданс (affordance)), обязанные своим происхождением «семиотическому взгляду» в описании и анализе.
Процессы коммутации или субституции приводят к изменению смысла, как это делают все семиотические процессы, - тонкому, но значительному. Чтобы в этом убедиться, попробуйте, например, поменять местами модули с текстом и картинками на каком-нибудь интернет-сайте. Будучи примененными к мультимо-дальным текстам, коммутация и субституция помогают обнаружить единицы («модули») и смысловые эффекты (подобные, вероятно, «ориентации»), которые не берут свое происхождение в устной речи или письме. Если же мы, однако, поднимемся «на один уровень вверх» в обобщении, то сможем распознать сходство с эффектами (и смыслами) расположения (arrangement), упорядочения (ordering) и синтагматизации (sequencing), которые связаны с «ориентированием» (orienting) семиотического материала в определенных направлениях. На этом общем уровне прослеживаются аналогии с лингвистическими модусами: просматривается что-то вроде темы, вроде разделения на данное и новое (в лингвистике Халлидея) или на фокус и топик (в других лингвистических теориях). При работе с изображениями категории расположения и упорядочения необходимы для выполнения функций и передачи смыслов, аналогичных таковым в других модусах, в том числе в устной речи и на письме. При работе с изображениями они могут быть использованы для реализации таких смыслов, как центральность и мар-гинальность.
Три момента здесь стоит отметить особо. Во-первых, путем перемещения «на уровень вверх», к более абстрактным категориям, мы посредством обобщения раскрываем семиотическое сродство между различными модусами. Лингвистика перестает быть доминирующей дисциплиной: она представляется частью более крупной семиотической рамки. Во-вторых, становится очевидным, что текст, организованный по модульному принципу, ближе - в плане определенных принципов расположения единиц - к модусу изображения.
Третий момент связан с вышеизложенным несколько менее непосредственно. Одной из причин критики в адрес мультимо-дальности или социальной семиотики (обусловленной своего рода «похмельем» от эпохи «языкового доминирования») является то, что восприятие изображения (или жеста, музыки и большинства других нелингвистических модусов) и смыслов, порождаемых этими модусами, «чисто субъективно». Все модусы являются продуктом социально-семиотической работы (social-semiotic work) членов сообщества, так же как и модусы устной и письменной речи. Они отображают закономерности, присущие сообществам, которые выработали эти модусы, по-разному в случае каждого из модусов, но не менее регулярным образом. Общие виды принципов, о которых только что шла речь - коммутация, субституция, - способны быстро выявить закономерности формы, расположения и смысла во всех этих модусах. Тот факт, что очень мало или вообще никакого теоретического внимания не было до сих пор уделено этим модусам с семиотической точки зрения, дает веские основания для того, чтобы сделать акцент на работе по установлению того, какие единицы, элементы и принципы лежат в основе этих модусов. Недостаточная или почти отсутствующая работа в этом направлении не дает никакого права утверждать, что эти модусы не организованы в терминах семиотических принципов. Развитие жестикуляции до уровня формирования модуса языка жестов (signing) должно быть достаточным доказательством обратного.
Если в модусе не проявляются виды категорий, которые мы знаем из лингвистических теорий, то еще не значит, что из-за этого мы имеем дело с субъективным суждением. Суть мультимодаль-ности в ее сильном смысле состоит в том, чтобы настаивать на существовании в каждом из модусов специфических для него аф-фордансов, а это неизбежно означает, что общие семиотические
категории будут выражены с помощью средств, предоставляемых этим конкретным модусом. Модус языка жестов не имеет описательных категорий, присущих модусу письма; однако лишь немногие ученые захотят теперь заявить, что использующие этот модус ограничены «субъективными высказываниями». Если я решил пообедать в вегетарианском ресторане, с моей стороны было бы странным жаловаться на отсутствие стейка в меню.
Теория коммуникации для современного периода: Признание, власть и семиотическая работа
Возможно, будет лучше начать этот раздел с оговорки. «Современный период» является одновременно слишком широким и неконкретным понятием, а также слишком ограниченным и, конечно, безосновательным. Мир не везде одинаков, несмотря на глобализацию. Стало быть, фразу, в которой упоминается «современный период», следует «локализовать». Здесь пригодятся два термина: «англофонный» и «неолиберальный». Есть места, даже в Западной Европе, где чувство значимости и сохраняющейся до сих пор относительной монолитности «общества» остается сильным, даже если это сейчас не совсем так, как было 30 лет назад. А за пределами этого мир становится все более калейдоскопическим в социальном и политическом плане.
Сегодняшний изменившийся социальный мир можно охарактеризовать несколькими фразами: исчезновение или преднамеренное разрушение прежней социальной данности через некаузальное конструирование привело к возникновению широкого социального разнообразия, к состоянию провизорности и к пока еще совершенно призрачным ощущениям новых форм социального. Это обусловило всю нестабильность нынешних семиотических схем. Такая ситуация требует теоретического осмысления коммуникации снизу вверх для этих еще меняющихся социально-семиотических конфигураций. За счет подстройки существующих теорий выработать стратегии действий и средства понимания для нынешних условий не получится.
Уничтожение ранее относительно стабильных социальных структур, в частности на мезо- и метауровнях «общества», уже привело на микроуровне социальной жизни к исчезновению как
социальных, так и семиотических «конвенций» (представляемых как «относительная стабильность практик» на мезоуровнях). Это сделало «индивидов» изолированными, отягощенными необходимостью как-то себя обеспечивать - как в социальном плане, так и в семиотическом. Агентивность (или по крайней мере определенные формы агентивности как требования действовать самостоятельно) и ответственность сбрасываются «вниз» - от социальных институтов к индивидам. Это не сопровождается параллельным распределением власти или других ресурсов. На данном этапе трудно понять, в какой степени это может представлять собой выигрыш в потенциальной агентивности большинства людей на уровне их повседневной жизни. Следует выразить сильные подозрения, что обещания на этот счет являются лишь «идеологическим туманом» для отвлечения внимания от изменений, наносящих долговременный ущерб многим людям. Никаких ресурсов для построения, обновления, восстановления социальных институтов в доступе нет. А это ведет к дальнейшей фрагментации общества и изоляции отдельных индивидов.
В отсутствие работоспособных социальных институтов, а также с уменьшением общей социальной ответственности и лояльности, гораздо больше (социальной и) семиотической работы, чем когда-либо прежде, должно быть осуществлено каждым человеком индивидуально. Без общепринятых конвенций, без существовавшей ранее относительной стабильности, без различных видов и разной степени поддержки со стороны институциональной власти «индивиды» должны действовать и выполнять семиотическую работу от своего собственного имени на основе своих собственных интересов.
Для того чтобы можно было обнаружить степень фрагментации традиционных моделей - социальной и семиотической, -рассмотрим пример до сих пор широко используемой концепции коммуникации, сокращенно именуемой моделью «Отправитель ^ Сообщение ^ Получатель». В условиях широкого социального разнообразия и фрагментации не может быть никакого предположения об «общем коде». Такие термины, как «кодирование», «декодирование» или «общий код», не релевантны. Когда отправитель, сообщение которого должно быть декодировано, был лишен «авторитета», нет смысла говорить даже о том, что вообще какое-то сообщение (a message) было получено, не говоря уже о том, чтобы
вести речь о получении того самого сообщения (the message). «Сообщение» в настоящее время представляет собой то, во что кто-то, кто провзаимодействовал с поводом (prompt), интерпретативно этот повод «трансформировал». Модель теперь утверждает, что «коммуникация произошла, когда состоялась интерпретация». При таком подходе «новым социальным порядком» является тот, где каждый «интерпретатор», находящийся под влиянием (informed by) своих интересов и принципов, перемещается в центр [Kress, van Leeuwen, 2001; Kress, 2010]. Это модель, которая не предполагает гомогенности принципов или кодов. Учитывая, что теоретически статусы интерпретатора и изначального производителя сообщения равны, коммуникацию теперь будет правильнее рассматривать как горизонтальное и реципрокное отношение между ними, в котором смысл производится дважды: один раз - производителем сообщения и еще один раз - партнером по диалогу при переработке в трансформирующем взаимодействии (transformative engagement).
Эта модель не отрицает реальность (неравной) власти, она лишь предполагает взаимность семиотической работы. Принятие этой модели означает переосмысление организации социального и семиотического мира: не как следствия политически / идеологически мотивированного сбрасывания ответственности «вниз», но как признания агентивности всех, кто участвует в социальном обмене и взаимодействии. Однако вполне может быть, что ситуация меняется, когда те, кто может, начинают действовать там, где им, похоже, предложено действовать.
Мультимодальность как ресурс, предоставляющий выбор подходящих означающих (signifiers), требует, чтобы выбранным материальным и концептуальным семиотическим средствам были соответственно предоставлены означаемые (significance). В этом состоит семиотическая работа - дизайн, создаваемый производителями знаков. Предположение о том, что знак - как мотивированное отношение формы и смысла - производится на основе интереса производителя знака, легитимирует «обратное считывание» (reading back) знаков, произведенных во всех (и в любых) модусах, с целью раскрытия смыслов и ценностей, которые их производитель приписывает использованным культурным и семиотическим ресурсам. А также, конечно, легитимируется обратное считывание интересов производителя знаков.
В качестве теоретической позиции это имеет революционные эффекты во всех областях. Такая позиция предоставляет инструменты, до сих пор недоступные, для признания (recognizing) смыслов одним из двух различных, хотя и взаимосвязанных способов. Первый способ - это агентивность. Производители смыслов рассматриваются как агенты своей семиотической работы. И игнорирование их работы предполагает совершение намеренного действия по отрицанию признания (recognition) работника, что противоречит основополагающему положению социальной семиотической теории. Другой путь сопряжен с осознанием разнообразных материальных ресурсов, посредством которых семиотическая работа по созданию знаков осуществляется в мире мультимодаль-ности. Каждый модус имеет свои специфические аффордансы, предоставляя различные понимания созданных смыслов далеко за рамками признанных возможностей, доступных в «канонических» средствах репрезентации. Перемещение ранее не признаваемых ресурсов в область видимости также приводит к тому, что в область этой видимости попадает и прежде не признанная, а потому остававшаяся невидимой семиотическая работа (semiotic work).
Эти характеристики теории определенно переключают наше внимание на «распознавание» семиотической работы и ее акторов, а также результатов этой работы во всех ее модусах и модальных ансамблях. Такова «сильная версия» мультимодальности. Этого просто-напросто требуют связанные с мультимодальностью пересекающиеся области политического, социального, культурного и семиотического миров.
Этика и теория коммуникации в современных условиях
Теории - это социальные конструкты: они являют собой детально разработанные метафоры, обеспечивающие понимание той части «мира», к которой они себя относят. Как метафоры, они (что верно для всех метафор) со всей неизбежностью и необходимостью произведены с определенной точки зрения. Как теории, они производятся в основном для того, чтобы обеспечить наилучший из возможных, а иногда, пожалуй, и самый полезный взгляд на ту часть (социального) мира, которую они описывают. Как уче-
ный-теоретик, я именно это имел целью теории, которую попытался (помог) создать.
И хотя теории - это, с точки зрения ученого, и впрямь социальные конструкты, произведенные с определенной позиции, тем не менее очевидно, что эта позиция является неизбежной частью теории, закодирована в ней. Каждая социальная «позиция» имеет свои этические основы. Насколько я могу судить, не бывает такого, чтобы теория избежала «незримого формирующего влияния» со стороны мира, в котором работает и живет ее автор; это относится и к этическим аспектам. Я уверен в том, что это применимо ко всем теориям и что любое теоретизирование базируется на моральных / этических основаниях, как правило, недоступных для тех, кто непосредственно работает с теорией. Поскольку я теоретик, мой приоритет состоит в том, чтобы иметь / использовать / развивать теорию, которая адекватна изучаемому миру, которая обеспечивает лучшее, наиболее правдоподобное понимание этого мира. А будучи интеллектуалом, я не могу поддержать теорию, этические основания (и этические последствия) которой я не могу принять. Соответственно, я осознаю свою ответственность за то, чтобы участвовать в создании теорий, которые и будут пригодны (apt) для объяснения мира, и не будут предназначены для возвышения одних групп и причинения ущерба другим.
Это снабжает меня мерой (или даже «мерилом») пригодности («aptness») теории, которую я разработал, и ее этических последствий. Краткий обзор социальной семиотической теории, который я представил в конце предыдущего раздела, можно превратить, с некоторой доработкой, в подобное «мерило». Как я полагаю, данная теория в самом ее «внутреннем устройстве» - в отличие, например, от несимметричной модели Шеннона-Уивера (Отправитель ^ Сообщение ^ Получатель) и многих других - не предполагает наличия привилегий у какого-то одного члена сообщества по сравнению со всеми остальными. Но это значит, что данную теорию нельзя применять для объяснения ситуаций использования власти. Что она точно делает, так это предоставляет модель для потенциально равноправной коммуникации в сообществах, пребывающих в социальном мире, которому присущи радикальное разнообразие и провизорность, а также глубокая фрагментация.
Понятие семиотической работы предполагает общее социальное участие в формировании культурных / семиотических ре-
сурсов. Понятие интереса признает тот факт, что я сам сформировался в социальных мирах - в сообществах, - в которых я состоял (и состою): в процессе моего агентивного взаимодействия с социальными, культурными и семиотическими ресурсами конкретных сообществ, в процессе использования инструментов разного рода, разработанных предыдущими поколениями, а также в процессе моей собственной деятельности по формированию новых ресурсов и их использованию.
Мое нынешнее использование и развитие теории социальной семиотики соответствует этому. Это не мое изобретение, но выбор, осуществленный вместе с другими, в поисках понимания, которое будет лучше отражать то, как мир выглядит сам по себе и для меня - теоретически, социально, персонально. Это теория, которая настаивает на том, что семиотическая работа - это работа, выполняемая всеми, постоянно, везде, и поэтому она должна быть признана. По меньшей мере эта теория не противится приложениям, которые могут быть полезны для занятых семиотической работой. И она могла бы, с точки зрения теоретической пригодности и прагматической полезности, сыграть существенную роль в признании вклада всех тех, кто занимается семиотической работой, как в признании непрерывного творчества, проявляющегося в постоянном создании новых семиотических / культурных ресурсов общества.
Библиография1
Barthes R. Mythologies. - L.: Paladin, 1973. - 158 p. Bauman Z. Liquid modernity. - Cambridge: Polity Press, 2000. - vi, 228 p. Bezemer J., Kress G. The textbook in a changing multimodal landscape // Language in multimodal contexts / N. Klug & H. Stockl (eds). - Berlin: De Gruyter, 2015. - In print. Holding the scalpel: Achieving surgical care in a learning environment / Bezemer J., Cope A., Kress G., Kneebone R. // Journal of contemporary ethnography. - Thousand Oaks, CA, 2014. - Vol. 43, N 1. - P. 38-63. Bezemer J., Kress G. Touch: A resource for making meaning // Australian journal of
language and literacy. - Perth, W.A., 2014. - Vol. 37, N 2. - P. 77-85. Learning in the operating theatre: A social semiotic perspective / Bezemer J., Kress G., Cope A., Kneebone R. // Work-based Learning in Clinical Settings: Insights from
1 Здесь представлен список работ, повлиявших на оформление моих рассуждений о мультимодальности, приведенных в этой статье.
Sociocultural Perspectives / V. Cook, C. Daly & M. Newman (eds). - Abingdon: Radcliffe, 2012. - P. 125-141.
Bezemer J. Displaying orientation in the classroom: Students' multimodal responses to teacher instructions // Linguistics and education. - N.Y., 2008. - Vol. 19, N 2. P. 166-178.
Bezemer J., Kress G. Writing in multimodal texts: A social semiotic account of designs for learning // Written communication. - Thousand Oaks, CA, 2008. - Vol. 25, N 2. P. 166-195.
Franks A. Drama education, the body and representation (or, the mystery of the missing bodies) // Research in drama education: The journal of applied theatre and performance. -Colchester, 1996. - Vol. 1. - P. 105-119.
The Routledge handbook of multimodal analysis / Jewitt C. (ed.). - L.: Routledge, 2014. - xxiv, 339 p.
Kress G. Sentence complexity in contrastive linguistics // (ERIC) Papers in contrastive linguistics / G. Nickel (ed.). - Cambridge: CUP, 1971. - P. 97-102.
Kress G. Before writing: Rethinking the paths to literacy. - L.: Routledge. 1997. -xxii, 175 p.
Kress G. Text as the punctuation of semiosis: Pulling at some of the threads // Intertex-tuality and the media. From genre to everyday life / U.H. Meinhof & J. Smith (eds). -Manchester: Manchester univ. press, 2000. - P. 132-153.
Kress G., Leeuwen T., van. Reading images: A grammar of visual design. - L.: Routledge, 2006. - x, 288 p.
English in urban classrooms: Multimodal perspectives on teaching and learning / Kress G., Jewitt C., Bourne J., Franks A., Hardcastle J., Jones K., Reid E. - L.: RoutledgeFalmer2005. - 184 p.
Lindstrand F., Insulander E. Setting the ground for engagement: Multimodal perspectives on exhibition design // Designs for learning. - Stockholm, 2014. - Vol. 5, N 1-2. -P. 30-49.
Mavers D. Children's drawing and writing: The remarkable in the unremarkable. - L.: Routledge, 2011. - xix, 143 p.
New London Group. A pedagogy of multiliteracies: Designing social futures // Harvard educational review. - Cambridge, Mass., 1996. - Vol. 66, N 1. - P. 60-92.
Newfield D. Transformation, transduction and the transmodal moment // The Routledge handbook of multimodal analysis / C. Jewitt (ed.). - L.: Routledge, 2014. - P. 100-113.
Pelletier C. Learning through design: Subjectivity and meaning in young people's computer game production work: PhD dissertation. - L.: Univ. of London, 2007. - 312 p.
Stein P. Multimodal pedagogies in diverse classrooms. Representation, rights and resources. - N.Y.: Routledge, 2008. - xii, 170 p.
Multimodal semiotics: Functional analysis in contexts of education / Unsworth L. (ed.). -L.: Continuum, 2008. - ix, 257 p.
Ritual and identity. The staging and performing of rituals in the lives of young people / Wulf, C. et al. - L.: Tufnell, 2010. - xviii, 187 p.
Yandell J. The social construction of meaning. Reading literature in urban English classrooms. - L.: Routledge, 2013. - xiv, 197 p.
Список литературы
Kress G. Multimodality. A social semiotic approach to contemporary communication. -
L.: Routledge, 2010. - xvi, 212 p. Kress G., Leeuwen T., van. Multimodal discourse: The modes and media of contemporary communication. - L. : Edward Arnold, 2001. - 142 p.
Пер. с англ. Т.Ш. Адильбаев, И.В. Фомин
