CC BY
105
2020
ВЕСТНИК САНКТ-ПЕТЕРБУРГСКОГО УНИВЕРСИТЕТА СОЦИОЛОГИЯ
Т. 13. Вып. 1
ЯЗЫК, КУЛЬТУРА, КОММУНИКАЦИЯ
УДК 316.774; 316.776
Компьютерная пропаганда:
структурные характеристики и векторы исследования*
В. В. Василькова, П. А. Трекин
Санкт-Петербургский государственный университет,
Российская Федерация, 199034, Санкт-Петербург, Университетская наб., 7-9
Для цитирования: Василькова В. В., Трекин П. А. Компьютерная пропаганда: структурные характеристики и векторы исследования // Вестник Санкт-Петербургского университета. Социология. 2020. Т. 13. Вып. 1. С. 68-83. https://doi.org/10.21638/spbu12.2020.105
Термин «компьютерная пропаганда» появился несколько лет назад и сформировался на пересечении целого ряда наук — компьютерных наук, политологии, социологии, лингвистики, социальной психологии и др. В связи с тем, что внимание к данному феномену актуализируется по причинам не только технологического, но и социетального характера, авторы ставят своей целью выявить и проанализировать основные векторы формирования теоретического концепта компьютерной пропаганды с позиций соци-окоммуникативного подхода. Для этого были определены основные структурные характеристики концепта, соответствующие характеристикам процесса информационного воздействия (объект пропаганды, формы, каналы, субъекты пропаганды). С этих позиций был рассмотрен исходный концепт пропаганды, представленный в классических трудах по данной тематике, а также выявлена специфика нового понятия компьютерной пропаганды. Особенности объекта компьютерной пропаганды связывают с новыми характеристиками целевой аудитории — сегментированной структуры сетевых виртуальных сообществ, обладающих свойством некритичного восприятия «удобной и привычной» информации. Новой формой компьютерной пропаганды является целенаправленно конструируемая и циркулирующая в социальных сетях фей-ковая информация. Новым способом (каналом) распространения такой информации выступают социальные боты — алгоритмизированные программы, позволяющие осуществить распространение с максимальной скоростью и масштабностью. Субъектами компьютерной пропаганды являются новые политические и бизнес-элиты, объединившие свои усилия с представителями технологической элиты. Показано, что в настоя-
* Статья подготовлена при финансовой поддержке Российского фонда фундаментальных исследований в рамках научного проекта «Структура бот-пространства онлайн-социальных сетей: сетевой анализ» № 18-011-00988».
© Санкт-Петербургский государственный университет, 2020
щее время доминирует негативная коннотация в трактовке компьютерной пропаганды как коммуникативной практики использования новых компьютерных технологий для манипуляции и дезинформации в онлайн-пространстве. Обозначены возможные перспективы проблематики, связанные с осмыслением более широкого (нейтрально-информационного) контекста в понимании феномена компьютерной пропаганды. Ключевые слова: пропаганда, объект и субъект пропаганды, фейки, социальные боты.
Введение
Буквально у нас на глазах на пересечении целого ряда наук рождается новый исследовательский кластер, предметом изучения которого является возникший в последние годы феномен, получивший такие наименования, как: компьютерная пропаганда (Computational propaganda) [1], цифровая пропаганда (Digital Propaganda) [2], киберпропаганда [3]. Несмотря на некоторые различия в терминах1, речь идет об одном и том же явлении — новых формах и практиках социального воздействия на сознание и поведение широких масс людей. Эти практики появились и распространились благодаря компьютерным и цифровым технологиям, специальным алгоритмизированным программам и технологиям работы с Big Data.
При этом важно подчеркнуть, что смещение исследовательского фокуса на феномен пропаганды возникло не сразу и в определенной степени было неожиданным после полувекового перемещения данной тематики на периферию социально-политического анализа в связи с окончанием эпохи тоталитарных режимов и ослаблением противостояний периода холодной войны. 1990-е и 2000-е годы были временем преобладания кибероптимизма, рассматривающего новые технологические перспективы (и особенно технологии Web 2.0 и появление онлайн-социальных сетей) как расширение демократии и возможность свободно высказывать свое мнение (хотя и в этот период появлялись работы о тенденциях «реконструкции идеи пропаганды» [4-6]).
Однако в 2010-е годы стал возрастать интерес к темам, связанным с вызовами, рисками и опасностями коммуникации в цифровом обществе (кибербезопас-ность, социальный контроль, интернет-зависимость и т. п.), среди которых особое место занимает проблема манипуляции общественным мнением, использование компьютерных цифровых технологий для пропагандистских манипуляций и дезинформации [7-9].
На наш взгляд, это обусловлено как технологическими, так и социально-политическими факторами. В технологическом плане речь идет о возникновении новых возможностей в скорости и расширении (интенсивности) распространения информации — использовании платформ онлайн-социальных сетей для новостной политики СМИ, правительственных и политических организаций, интенсивном развитии бот-технологий, позволяющих распространять информацию с невероятной скоростью и масштабностью. В социально-политическом плане можно говорить об усилении идеологического противостояния как результата геополитических трансформаций и возникших перспектив смены мировых лидеров. При этом
1 Мы считаем, что из перечисленных терминов наиболее общим является «компьютерная пропаганда», поскольку он фиксирует специфику всех форм использования компьютерных технологий для ведения пропаганды.
обвинения в использовании манипулятивной пропаганды звучат в адрес не только крупнейших геополитических субъектов (например, США, России, Китая, Великобритании [1; 8]), но и национальных элит, использующих новые технологии для этих целей, например в электоральных практиках [10].
В контексте сказанного выражаются опасения по поводу уязвимости самой системы демократии и либеральной социальной модели под воздействием новых технологий пропаганды и дезинформации [7]. Иную позицию о соотношении пропаганды и демократии высказывает А. Вуд, рассматривающий эту проблему в рамках критического подхода [11]. По его мнению, демократия как стратегия всеобщего равенства находится в глубинном противоречии с реальными социальными системами, основанными на все усиливающемся неравенстве между элитами и гражданами, на эксплуатации и угнетении. Критически оценивая типологию Стенли [12], разделяющего подрывной и поддерживающий виды пропаганды, А. Вуд отвергает негативную коннотацию подрывной пропаганды (поскольку она может оцениваться таким образом только с позиций либеральной демократии) и считает, что пропаганда является неотъемлемой составляющей современной политической системы и служит политическим потребностям современного общества. Пропаганда в обществе, в котором содержание демократических институтов глубоко недемократично, обслуживает функцию политического контроля привилегированных элит, которые вынуждены манипулировать убеждениями большинства, чтобы скрыть истинную природу сложившегося социального порядка [11].
Таким образом, современные интерпретации проблемы пропаганды имеют не только технологические аспекты, но и социетальные основания. В связи с этим в рамках данной статьи ставится цель выявить и проанализировать основные векторы формирования концепта компьютерной пропаганды. Для этого мы ставим следующие задачи: структурировать данный концепт в соответствии с параметрами, отражающими характеристики феномена пропаганды как процесса информационного воздействия (объект, формы, каналы, субъекты пропаганды); провести сравнение по этим параметрам классического и современного понимания пропаганды; выявить специфику компьютерной пропаганды.
Проблема пропаганды: сложившиеся подходы
и основные структурные характеристики
Проблема пропаганды с самого начала своей концептуализации в 1920-е годы формировалось в двух контекстах. Первый — более широкое понимание, обладающее нейтральной коннотацией. Так, Э. Бернейс определяет пропаганду как последовательную, достаточно продолжительную деятельность, направленную на создание или информационное оформление различных событий с целью влияния на отношение масс к предприятию, идее или группе [13, с.19]. Второй выражает более узкое понимание пропаганды как открытого распространения взглядов, фактов, аргументов и других сведений, в той или иной степени намеренно искаженных и вводящих в заблуждение с целью формирования общественного мнения или иных целей.
Разные исследователи пытались примирить эти две версии феномена пропаганды, разделяя, например, старую и новую пропаганду [13], конструктивную
и деструктивную [14], подрывную и поддерживающую [12] и т. п. Во всех подобных случаях речь шла о различных целях пропагандистского воздействия (нейтрально-информационного или умышленно искаженного), при этом признавалось общее свойство пропаганды как целенаправленной, рационально организованной деятельности по социальному воздействию определенных субъектов на большие группы людей (корреляция с широкой трактовкой).
При характеристике объекта воздействия исследователями прежде всего выделяются те социально-психологические особенности массовой аудитории, которые позволяют ее представителям быть особо чувствительными и восприимчивыми к информационному воздействию субъекта пропаганды. Это такие характеристики, как повышенное эмоциональное восприятие, повышенная внушаемость, уменьшение степени критического отношения и способности к рациональной обработке информации, подавление чувства ответственности за свое поведение, сила анонимности [15].
Различным социально-психологическим, когнитивным, политическим факторам, усиливающим уязвимость массовой аудитории, посвящен целый ряд работ [4-6; 14; 16-22].
В частности, Г. Лассвелл утверждал, что массовое сознание наиболее сильно восприимчиво к пропаганде в ситуации эмоциональной неустойчивости «среднего человека», возникающей в результате социальной неопределенности (экономического кризиса, политических конфликтов), когда пропаганда становится одним из амортизирующих факторов, средством борьбы с потенциальной угрозой [23, p. 627]. При этом отмечается и обратный эффект, когда пропагандистское воздействие способно «расшатать» психоэмоциональное состояние масс, усиливая страх, тревогу, ненависть, и это состояние эффективно используется для консолидации мнений большинства в принятии нужных решений [14, с. 5].
Важно подчеркнуть, что эффективность пропаганды связана с технологиями сегментирования массовой аудитории. Еще Г. Лассвелл утверждал, что общая цель пропаганды (консолидация и мобилизация масс вокруг единой цели) является одновременно и специфической для каждой социальной группы и социального слоя — она должна формулироваться различными способами, каждый из которых должен быть рассчитан на особый слой населения. Чтобы обеспечить активное содействие всех, пропагандисту нужно научиться превращать «войну в шествие в ту землю обетованную, которая наиболее привлекательна для каждой из заинтересованных групп» [23, p. 627]. В этом плане, по выражению Э. Бернейса, структура общества предстает как совокупность пересекающихся групп и связей в системе «лидер — последователь» [13, с. 23].
Формы пропаганды связывают со специфическими лингвосемантическими приемами конструирования содержания транслируемой информации. Пропаганда — это создание и управление социально значимыми символами, «упакованными» в формы мифов и стереотипов, доктрин и идеологий, образов и лозунгов. Чтобы продемонстрировать, что пропаганда обращается как к разуму, так и к чувствам реципиента, Лассвелл вводит такие понятия, как «креденды» и «миранды». Креден-да (доверие) — это сфера рационального сознания, более соответствующая политическим доктринам; к ней относятся уставы, конституции, декларации, договоры, обращенные к разуму и обеспечивающие доверие к власти на когнитивном уровне.
Миранда (мираж, сверхъестественное) — это совокупность ритуалов и символов; она содержит такие коммуникативные средства, как лозунги, флаг, гимн, лидер (герой) движения, и рассчитана на эмоциональное восприятие, на пробуждение чувств лояльности.
Наиболее распространенными приемами создания пропагандистского сообщения выступают следующие:
• трансформация информационного потока (селекция и отбор фактов и аргументов);
• придание информации эмоциональной окраски;
• обобщение как способ смысловой концентрации;
• использование перформативных форм языка (призывы к действию);
• использование лозунгов и ярлыков как способов маркировки цели и формирования необходимой установки и т. п.
Под каналами распространения пропагандистской информации традиционно понимают те способы и средства коммуникации, которые обеспечивают максимальную широту и скорость такого распространения. Симптоматично, что само возникновение феномена пропаганды в привычной для нас форме относят к началу ХХ в., когда в европейских странах в связи с ростом промышленного производства и урбанизацией стал стремительно расти уровень грамотности населения [22, р. 173-175]. Сформировался массовый читатель массовых изданий — газет, журналов и т. п. (Заметим, что и в большевистской России кампания по борьбе с безграмотностью также была связана с необходимостью обеспечить политическую грамотность, возможность для граждан самостоятельно знакомиться с директивными документами новой власти.)
Следующий этап (середина ХХ в.), связанный с расширением возможностей и масштабов пропагандистского воздействия, обусловлен появлением и развитием новых каналов, таких как радио, кино, телевидение. Именно они (в первую очередь кино и радио) послужили технологической основой массовой пропаганды середины ХХ века.
Новый виток в развитии пропаганды был связан с периодом холодной войны, которая разделила мир на два глобальных противоборствующих лагеря. Мощным оружием в этом противостоянии стала пропаганда, а новым технологическим импульсом для ее развития — телевидение, не утратившее своего пропагандистского влияния даже после появления Интернета.
Что касается проблемы выявления субъектов пропаганды, то в классических трудах по теории пропаганды также были заданы определенные параметры, которые, на наш взгляд, актуальны до настоящего времени. В частности, были обозначены два уровня субъектности: 1) элиты как «мыслящие меньшинства», формулирующие идеи для большинства (политические, религиозные, бизнес-элиты и др.); 2) профессионалы-специалисты, реализующие пропагандистский заказ этих элит (журналисты, политологи, специалисты по пиару, маркетологи и др.) — по выражению П. Шампаня, «социальные агенты», которые и создают общественное мнение [13, с. 27-30; 24].
Таким образом, мы можем выделить основные принципы структурного описания пропаганды, представленные в классических трудах по теории, истории
и практике пропаганды, актуальные для характеристики пропаганды как социе-тального феномена:
1) концепт пропаганды изначально формировался в рамках узкого и широкого понимания, имеющего соответственно негативную и нейтральную коннотации;
2) особенности массовой аудитории как объекта пропаганды связаны с такими социально-психологическими характеристиками, как анонимность, эмоциональность, ослабление критического (рационального) контроля;
3) эффективность пропагандистского воздействия связана с технологиями сегментирования массовой аудитории в соответствии с интересами и потребностями различных социальных групп (слоев, сообществ);
4) формы пропаганды являются результатом конструирования специального информационного контента с использованием специфических лингвосе-мантических приемов;
5) эффективность и масштабность пропагандистского воздействия обусловлены особенностями (пропускной способностью) канала коммуникации, обладающего определенной технологической спецификой;
6) субъектами пропаганды выступают как представители различных социальных элит, так и реализующие их заказ специалисты-профессионалы.
Понятие и структурные характеристики
компьютерной пропаганды
Понятие компьютерной пропаганды появилось всего лишь несколько лет назад. Попытка его первичной концептуализации предпринята в коллективной монографии под редакцией С. Вулли и Ф. Ховарда, изданной в Оксфорде и объединяющей исследования 12 ученых из 9 стран (Великобритании, США, Китая, России, Польши и др.), описывающих опыт и практики данного феномена [1].
Подтверждая преемственность принципов понимания пропаганды, берущих свое начало в классических работах Лассвелла, Лазарсфельда и др., авторы в определении нового типа пропаганды придерживаются негативной коннотации. Компьютерная пропаганда трактуется как новое явление и новая область исследования цифровой дезинформации и манипуляции. «Как коммуникативная практика компьютерная пропаганда описывает использование алгоритмов автоматизации с целью полного управления и распространения вводящей в заблуждение информации в социальных сетях» [1, p. 4]. По мнению авторов, компьютерная пропаганда является «частью пакета сомнительных политических практик», когда новые автоматизированные социальные субъекты используются для поддержки конкретных политиков и политических позиций, заглушая любые несогласные голоса и создавая иллюзию подавляющего превосходства. В конечном счете речь идет о новых практиках манипулирования информацией в Интернете для изменения мнений и поведения людей.
При концептуализации понятия компьютерной пропаганды авторы разделяют социальный и технический аспекты этого феномена. Как социальное явление компьютерная пропаганда представляет собой разновидность традиционной пропаганды, именно — форму специфической коммуникации, которая для достижения
конкретных целей политических акторов избирательно искажает символы и смыслы, обращаясь преимущественно к эмоциональной и бессознательной сфере. Как техническое явление компьютерная пропаганда базируется на новых технологических основаниях (наличии платформ социальных медиа, Big Data, алгоритмизированных агентах)2 и включает новые инструменты (социальные боты, автоматически распространяющие контент, фейковые новости в социальных сетях).
Обобщая работы, посвященные описанию новых практик использования данных технологий в современной пропаганде, мы выделили основные направления трансформации основных структурных элементов пропаганды (объекта, форм, каналов, субъектов пропаганды) под влиянием новых технологий.
Объектом компьютерной пропаганды выступают массы людей, включенных в интернет-коммуникацию на платформах социальных сетей и обладающих теми же характеристиками уязвимости, что и масса в понимании исследователей докомпьютерной эры (анонимностью, повышенной эмоциональностью, ослаблением критического и рационального контроля и т. п.).
При этом некоторые исследователи отмечают, что новые виртуальные пользовательские структуры, сформировавшиеся в интернет-коммуникации, отличаются от традиционного понимания феномена массы, под которой понимается неструктурированное аморфное образование «молчаливого» (политически нейтрального) большинства [16]. Виртуальные сетевые сообщества отличаются большей устойчивостью структурных взаимосвязей и сопряжений между их участниками. Более того, комментарийная активность делает эти группы пользователей не только пассивными реципиентами информационного воздействия, но и распространителями, генераторами и интерпретаторами информационного сообщения [25, с. 344346].
Интернет-коммуникация (и в первую очередь коммуникация в онлайн-социальных сетях) обладает специфическими особенностями, которые позволяют усиливать эффект пропаганды. Эту особенность многие исследователи связывают с эффектом так называемой эхо-камеры, фиксирующей зависимость человека от влияния близкой ему социальной группы: человек склонен считать правдоподобной и принимать ту информацию, которая согласуется с уже сформированными им представлениями и поступает от тех людей, которых он воспринимает как себе подобных.
Еще в 1977 г. ученые Стэнфордского университета открыли эффект доверия (truth effect), в соответствии с которым сообщения, которые человек уже слышал, вызывают у него большее доверие, чем новая информация [26]. Информация, противоречащая сложившимся стереотипам, расценивается им как недостоверная, предвзятая, ложная. Соответственно, человек предпочитает воспринимать информацию именно из тех источников, которые подтверждают уже сформированные у него представления [27].
Для создания эхо-камеры современные социальные сети предоставляют пользователям новостей гораздо более широкие информационно-коммуникативные и технологические механизмы. Информационно-коммуникативным механизмом
2 Сам термин «компьютерная пропаганда» авторы связывают не с тем, что пропагандистское воздействие «происходит на компьютере или онлайн», а с тем, что эти политические стратегии опираются на широкие компьютерные технологии [1, p. 7].
выступают лайки и репосты, которые предстают не просто показателями социального одобрения (с использованием механизмов обратной связи), но и важным каналом коммуникации, позволяющим выстраивать определенное ценностно-эмоциональное восприятие объекта вне зависимости от того, на достоверной или недостоверной информации оно основано [28]. Существует целый ряд эмпирических исследований, зафиксировавших высокую степень зависимости принятия информационного сигнала от его одобрения сверстниками или единомышленниками (в частности, на примере идеологической и маркетинговой информации [29; 30]).
Подчеркивая возможности манипулятивного пропагандистского воздействия в подобных ситуациях, исследователи вводят такие понятия, как «цифровая ценностно-смысловая капсула», или «информационная капсула», под нею понимается информационная структура, в «закрытом пространстве» которой идеи, символы, убеждения, мнения не изменяются, не подвергаются критическому осмыслению, а, наоборот, закрепляются и даже усиливаются за счет многократного повторения, обсуждения, одобрения в среде единомышленников [25, с. 346].
В контексте нашей темы важно подчеркнуть, что наличие такого эффекта может рассматриваться как важная характеристика объекта компьютерной пропаганды, основание его новой сегментации для диверсификации информационного воздействия. Теперь «масштабные информационно-пропагандистские кампании выстраиваются на основе создания конкурирующих между собой в цифровом пространстве информационных капсул, привлечения и удержания в них значительного числа пользователей, являющихся представителями целевых аудиторий воздействия» [25, с. 347].
Новые формы компьютерной пропаганды, как уже было сказано, в первую очередь связывают с феноменом фейковых новостей в социальных сетях, под которыми понимаются новости, включающие заведомо ложную информацию, которая может быть проверена и обнаружена; создающиеся с целью нечестного намерения ввести в заблуждение пользователей [31-33].
Существует целый ряд работ, в которых выявляются и анализируются конкретные лингвосемантические приемы создания современных фейковых новостей. Это приемы, связанные с особенностями словообразования, пунктуации, синтаксиса, читаемости/понятности текста (количество символов, сложные слова, количество слогов, типы слов, количество абзацев и др.) [34; 35]. При конструировании заведомо ложного контента используется больше социально значимых слов, наречий, глаголов и знаков пунктуации, выражается высокая степень уверенности, информация фокусируется на текущих и будущих действиях. Чаще употребляются слова, активизирующие степень восприятия (такие как «слышать», «видеть», «чувствовать» и др.), и лингвистические характеристики, порождающие позитивные эмоции. Существуют исследования, касающиеся специфики стиля, риторической структуры текста и визуального анализа [36]. Данные параметры могут быть важным инструментом манипулятивного воздействия, поскольку позволяют стимулировать сильную эмоциональную реакцию пользователей: гнев, негодование, радость и т. п.
Основным каналом компьютерной пропаганды выступают социальные боты. В широком смысле под социальными ботами (сокр. от слова «робот») понимают алгоритмизированные программы, которые автоматически создают контент и вза-
имодействуют с другими пользователями онлайн-социальных сетей, продвигая данный контент [37]. К ним относятся не только ложные аккаунты, но и действующие в социальных сетях чат-боты, предназначенные для диалогового общения с человеком с использованием естественного языка, спам-боты, интенсивно рассылающие сходную информацию, боты-сканеры, собирающие информацию по заранее определенному техническому заданию, если они фильтруют или агрегируют социально значимую информацию, а также с трудом поддающиеся идентификации гибридные, полуавтоматизированные боты-киборги.
Несмотря на то что социальные боты активно используются в самых разных сферах деятельности (маркетинге, рекламе, НИ., решении социальных проблем и т. п.), большинство исследований по социальным ботам посвящено «злонамеренным политическим ботам с высоким уровнем имитации человеческого поведения», что связано с агрессивным характером, высокой степенью распространения и слабой контролируемостью этих ботов со стороны общественности [38]. Именно такие боты рассматриваются в контексте проведения современных пропагандистских кампаний.
Наиболее резонансным по своим последствиям является использование злонамеренных политических ботов в электоральных практиках различного уровня в США [39-41], Японии [42], Венесуэле [43], Бразилии [44] и других странах. Кроме того, подобные технологии применяются в повседневных политических практиках пропагандистского характера, таких как астротурфинг — продуцирование и поддержание искусственного общественного мнения путем «наводнения» информационного пространства сообщениями определенного содержания, манипуляция общественным мнением с учетом воздействия иностранного влияния, борьба с оппозицией и уничтожение диссидентов и т. п. [10].
Важно подчеркнуть, что использование бот-технологий значительно увеличивает степень анонимности пропагандистского воздействия (скрывая субъектов пропаганды под ложными аккаунтами и атаками троллей и киборгов), а также расширяет масштаб воздействия на аудиторию, поскольку возрастает скорость и размах распространения информации. Таким образом, объектом компьютерной пропаганды становится гораздо большее количество людей, чем ранее.
Идентификация субъектов компьютерной пропаганды не всегда является простой задачей. Проблема разработки методики идентификации, «привязки» определенного бота к тому или иному актору социальной сети является одной из самых спорных и вместе с тем одной из самых перспективных тем в изучении социальных ботов, о чем пишут многие исследователи [45].
Однако большинство исследователей признают, что доминирующими игроками на поле компьютерной пропаганды выступают те акторы, которые обладают глобальным доступом к сетевой информационно-коммуникационной инфраструктуре и достаточными ресурсами для использования масштабных компьютерных технологий при осуществлении информационного воздействия: крупные корпорации, политические партии, правительственные структуры, медиагиган-ты и т. п.
При этом высказывается мнение, что формируются новые элиты — лидеры пропагандистского воздействия в онлайн-пространстве. В частности, в качестве таковых Л. Манович выделяет новые дата-классы [46]:
1) непосредственные пользователи — создатели данных, не обладающих компетенциями работы с Big Data и являющиеся объектом информационного воздействия со стороны других дата-классов;
2) акторы, обладающие возможностями и компетенциями сбора цифровых данных (держатели цифровых активов);
3) акторы, обладающие возможностями и компетенциями анализа Big Data, владельцы алгоритмов по обработке, анализу и интерпретации данных и способные конструировать на этой основе программы убеждающей коммуникации и пропаганды.
Также высказывается идея о четвертом классе «дейтократов» — элиты, способной контролировать остальные дата-классы в своих интересах [47, с. 12].
Таким образом, в описании субъектов компьютерной пропаганды присутствуют два уровня субъектности — профессионалов-специалистов и представителей социальных элит, которые обнаруживают тенденцию сращивания традиционных политических и бизнес-элит с элитой технологической3.
Выводы и обсуждения
Понятие компьютерной пропаганды только начало формироваться на основе междисциплинарных исследовательских подходов и рассматривается как в технологическом, так и в социальном аспекте. В связи с этим актуализируется задача уточнения данного понятия в контексте социологического знания. Данная статья — первая в отечественной литературе попытка выявить и охарактеризовать основные векторы формирования концепта компьютерной пропаганды с позиций социокоммуникативного подхода. Для этого авторы структурировали описание процесса информационного воздействия (объект, формы, каналы, субъекты пропаганды). С этих позиций были рассмотрены исходные представления о пропаганде, представленные в классических трудах по теории и практике пропаганды, и сформулированы его основные положения, а также выявлена специфика понимания нового концепта компьютерной пропаганды.
Особенности объекта компьютерной пропаганды связаны с новыми характеристиками целевой аудитории — сегментированной структуры сетевых виртуальных сообществ, обладающих свойством некритичного восприятия «удобной и привычной» информации. Новой формой компьютерной пропаганды является целенаправленно конструируемая и циркулирующая в социальных сетях фейко-вая информация. Новым способом (каналом) распространения такой информации выступают социальные боты — алгоритмизированные программы, позволяющие осуществить такое распространение с невероятной скоростью и масштабностью. Субъектами компьютерной пропаганды являются новые политические и бизнес-элиты, объединившие свои усилия с представителями технологической элиты (спе-
3 При этом важно подчеркнуть, что подобная постановка вопроса открывает перед исследователями новые перспективы в изучении целого ряда проблем — соотношения технологической, политической и бизнес-элит, открытых (публичных) и латентных механизмов формирования новой элиты цифрового общества, расслоения внутри такой элиты, специфики ее формирования в разных странах и т. п.
циалистами, обладающими необходимыми компетенциями в создании и распространении пропагандистского контента).
Было показано, что в настоящее время доминирует негативная коннотация в трактовке феномена компьютерной пропаганды, которая понимается как коммуникативная практика использования новых компьютерных технологий, алгоритмов и Big Data для манипуляции и дезинформации в онлайн-пространстве.
Говоря о возможных перспективах развития данной темы, выскажем предположение, что они будут связаны не только с расширением диапазона в описании новых форм, способов и практик компьютерной пропаганды, но и главным образом — с осмыслением более широкого (нейтрально-информационного) контекста в понимании самой компьютерной пропаганды. Дело в том, что рутинизация и расширение доступа к новым алгоритмизированным технологиям (например, технологиям создания и запуска ботов) привлекает к целенаправленной деятельности по реализации социального влияния (пропаганде в широком смысле) новых социальных субъектов, групп пользователей, в том числе обладающих высоким потенциалом гражданской активности [48]. Уже сейчас в онлайн-пространстве появляются субъекты, противостоящие различным формам манипуляции и пропагандистской дезинформации и при этом использующие методы компьютерной пропаганды (бот-технологии). Это группы активистов, выступающих против скрытых коррупционных схем [43], сокрытия информации, порочащей правительственные силовые структуры [49], информационных искажений в редактировании «Википедии» в интересах государственных структур [50], фейковых новостей в определенной социальной сети [51].
Развитие гражданского общества в различных странах позволяет ожидать усиления социального запроса на использование методов компьютерной пропаганды для информационного влияния самых разных групп акторов, привлекающих на свою сторону компетентных профессионалов в области новейших компьютерных технологий.
Литература
1. Woolley S. C., Howard P. N. Computational propaganda: political parties, politicians, and political manipulation on social media. Oxford University Press, 2018. 263 p.
2. Corneliu В. The Ethics of Countering Digital Propaganda // Carnegie Council for Ethics in International Affairs. 2018. Vol. 32, iss. 3. P. 305-315. URL: https://www.cambridge.org/core/journals/ethics-and-international-affairs/article/ethics-of-countering-digital-propaganda/DF393C0793F31EE0940E9208E24C-B6A8 (дата обращения: 10.12.2019).
3. Ncube L. Digital Media, Fake News and Pro-Movement for Democratic Change (MDC) Alliance Cyber-Propaganda during the 2018 Zimbabwe Election // African Journalism Studies. 2019. Vol. 40. URL: https://www.tandfonline.com/doi/figure/10.1080/23743670.2019.1670225?scroll=top&needAccess=true (дата обращения: 10.12.2019).
4. Chomsky N. Media Control: the Spectacular Achievements of Propaganda. New York: Seven Stories Press, 2004. 112 p.
5. Cunningham S. The Idea of Propaganda: A Reconstruction. Westport: Praeger, 2002. 248p.
6. Rutherford P. Endless Propaganda: the Advertising of Public Goods. Toronto: University of Toronto Press, 2000. 365 p.
7. Akin Unver H. Digital Challenges to Democracy: Politics of Automation, Attention and Engagement // Journal of International Affairs. 2017. Vol. 71, no. 1. P. 127-146.
8. Schiffrin A. Disinformation and Democracy: The Internet Transformed Protest but Did Not Improve Democracy // Journal of International Affairs. 2017. Vol. 71, no. 1. P. 117-126.
9. Bradshaw S., Howard F. The Global Organization of Social Media Disinformation Campaigns // Journal of International Affairs. 2017. Vol. 71, no. 1. P. 23-32.
10. Василькова В. В., Легостаева Н. И. Социальные боты в политической коммуникации // Вестник РУДН. Сер. «Социология». 2019, № 1. C. 121-131.
11. Wood A. Propaganda and Democracy // Theoria: An International Journal for Theory. 2016. Vol. 31, no. 3. P. 381-394.
12. Stanley J. How Propaganda Works. Princeton: Princeton University Press, 2015.
13. Бернейс Э. Пропаганда / пер. с англ. И. Ющенко. М.: Hippo Publishing, 2010.
14. Цуладзе А. М. Политические манипуляции, или Покорение толпы. М.: Книжный дом «Университет», 1999.
15. Предвечный Г. П., Шерковин Ю. А. Социальная психология. Краткий очерк. М.: Политиздат, 1975.
16. Аронсон Э., Пратканис Э. Эпоха пропаганды: механизмы убеждения, повседневное использование и злоупотребление. СПб.: Прайм-Еврознак, 2003.
17. Войтасик Л. Психология политической пропаганды. М.: Прогресс, 1981.
18. Кара-Мурза С. Манипуляция сознанием. М.: Эксмо, 2006.
19. Лассвелл Г. Техника пропаганды в мировой войне. М.; Л.: Госуд. изд-во; отдел военной литры, 1929.
20. Лебон Г. Психология толп. М.: Ин-т психол. РАН; изд-во «КСП+», 1998.
21. Халперн Д. Психология критического мышления. СПб.: Питер, 2000.
22. Taylor P. M. Munitions of the mind: A history of propaganda from the ancient world to the present day. Manchester; New York: Manchester University Press; 3rd ed. 2003.
23. Lasswell H. D. The Theory of Political Propaganda // The American Political Science Review. 1927. Vol. 21, no. 3. P. 627-631.
24. Щедровицкая М. Патрик Шампань: делать мнение // Со-Общение. 1999. № 1. URL: http://www. soob.ru/n/1999/1/5/1 (дата обращения: 10.12.2019).
25. Володенков С. В. Влияние технологий интернет-коммуникаций на современные общественно-политические процессы: сценарии, вызовы и акторы // Мониторинг общественного мнения: экономические и социальные перемены. 2019. № 5. С. 341-365.
26. Hasher L., Goldstein D., Toppino T. Frequency and the conference of referential validity // Journal of Verbal Learning and Verbal Behavior. 1977. No. 16 (1). Р. 107-112.
27. Fazio L. K., Brashier N. M., Payne B. K., Marsh E. J. Knowledge Does Not Protect Against Illusory Truth // Journal of Experimental Psychology: General. 2015. Vol. 144, no. 5. P. 993-1002.
28. Friggeri A., Adamic L. A., Eckles D., Cheng J. Rumor Cascades // Proceedings of the Eighth International AAAI Conference on Weblogs and Social Media. Michigan, USA. 2014, June 1-4. Published by The AAAI Press, Palo Alto, California. Р. 101-110.
29. Bakshy E., Eckles D., Yan R., Rosenn I. Social influence in social advertising: evidence from field experiments // Proceedings of the 13th ACM Conference on Electronic Commerce (EC '12). 2012. ACM, New York, USA. P. 146-161.
30. Bakshy E., Messing S., Adamic L. Exposure to ideologically diverse news and opinion on Facebook // Research Reports. Political Science. 2015. Vol. 348, iss. 6239. Р. 1130-1132.
31. Василькова В. В., Садчиков Д. И. Фейки и боты как механизмы информационных искажений в социальных сетях // Казанский социально-гуманитарный вестник. 2019. № 2. С. 24-30.
32. Conroy N. J., Rubin V. L., Chen Y. Automatic deception detection: Methods for finding fake news// ASIST'15. Proceedings of the 78th ASIS&T Annual Meeting: Information Science with Impact: Research in and for the Community. St. Louis, Missouri. 2015. November 6-10. URL: https://onlinelibrary.wiley.com/ doi/full/10.1002/pra2.2015.145052010082 (дата обращения: 09.12.2019).
33. Klein D. O., Wueller J. R. Fake news: A legal perspective // Journal of Internet Law. 2017. Vol. 20, no. 10. P. 5-13.
34. Pérez-Rosas V., Kleinberg B., Lefevre A., Mihalcea R. Automatic Detection of Fake News // Proceedings of the 27th International Conference on Computational Linguistics. August 2018. Santa Fe, New Mexico, USA. Publisher: Association for Computational Linguistics. P. 3391-3401.
35. Wu K., Yang S., Zhu K. Q. False rumors detection on Sina Weibo by propagation structures // IEEE 31st International Conference on Data Engineering 13-17 April 2015. URL: https://ieeexplore.ieee.org/doc-ument/7113322 (дата обращения: 10.12.2019).
36. Shu K., Sliva A., Wang S., Tang J., Liu H. Fake News Detection on Social Media: A Data Mining Perspective // ACM SIGKDD Explorations Newsletter. 2017. Vol. 19, iss. 1. P. 22-36.
37. Ferrara E., Varol O., Davis C., Menczer F., Flammini A. The rise of social bots. Communications
of the ACM. 2016. Vol. 59, no. 7. P. 96-104. URL: https://doi.org/10.1145/2818717 (дата обращения: 12.12.2019).
38. StieglitzS., Brachten F., RossB., JungA.-K. Do Social Bots Dream of Electric Sheep? A Categorisation of Social Media Bot Accounts. Australasian Conference on Information Systems. Hobart, Australia. 2017. URL: https://arxiv.org/ftp/arxiv/papers/1710/1710.04044.pdf]. (дата обращения: 10.12.2019).
39. Metaxas P. T., Mustafaraj E. Social media and the elections // Science. 2012. Vol. 338, no. 6106. P. 472-473. https://doi.org/10.1126/science.1230456.
40. Bessi A., Ferrara E. Social Bots Distort the 2016 US Presidential Election Online Discussion. // First Monday. 2016. Vol. 21, no. 11. URL: https://firstmonday.org/article/view/7090/5653 (дата обращения: 11.12.2019).
41. Howard P. N., Bolsover G., Kollanyi B., Bradshaw S., Neudert L. Junk news and bots during the U. S. Election: What were Michigan voters sharing over Twitter? // CompProp, OII Data Memo: Project on Computational Propaganda. 2017. Vol. 1. URL: https://comprop.oii.ox.ac.uk/research/working-papers/ junk-news-and-bots-during-the-u-s-election-what-were-michigan-voters-sharing-over-twitter/ (дата обращения: 11.12.2019).
42. Schäfer F., Evert S., Heinrich P. Japan's 2014 General Election: Political Bots, Right-Wing Internet Activism, and Prime Minister Shinzö Abe's Hidden Nationalist Agenda // Big data. Vol. 5, no. 4. P. 294-309.
43. Forelle M. C., Howard P. N., Monroy-Hernandez A., Savage S. Political bots and the manipulation of public opinion in Venezuela // CompProp, OII Data Memo: Project on Computational Propaganda. 2015. Vol. 1. URL: http://comprop.oii.ox.ac.uk/wp-content/uploads/sites/89/2015/08/C0MPR0P-2015-1.pdf (дата обращения: 11.12.2019).
44. Arnaudo D. Computational Propaganda in Brazil: Social Bots During Elections // Project on Computational Propaganda. 2017. Vol. 8. P. 1-39. URL: https://comprop.oii.ox.ac.uk/research/working-papers/ computational-propaganda-in-brazil-social-bots-during-elections/ (дата обращения: 11.12.2019).
45. Varol O., Ferrara E., Davis C. A., Menczer F., Flammini A. Online human-bot interactions: Detection, estimation, and characterization // Eleventh international AAAI conference on web and social media. 2017. URL: https://www.researchgate.net/publication/314433388_Online_Human-Bot_Interactions_Detection_ Estimation_and_Characterization (дата обращения: 12.11.2019).
46. Manovich L. The Science of Culture? Social Computing, Digital Humanities and Cultural Analytics. URL: http://manovich.net/content/04-projects/088-cultural-analytics-social-computing/cultural_analyt-ics_article_final.pdf (дата обращения: 11.12.2019).
47. Володенков С. А. Цифровые технологии как фактор изменения отношений в системе «государство — общество» // Навстречу «цифровому обществу»: экспертные оценки и прогнозы. М.: Наука, 2019. С. 9-12.
48. Василькова В. В., Легостаева Н. И., Радушевский В. Б. Социальные боты как инструмент развития гражданского участия // Мониторинг общественного мнения: экономические и социальные перемены. 2019. № 5. С. 19-42.
49. Veläzquez E., Yazdani M., Suärez-Serrato P. Socialbots supporting human rights. AIES '18 Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society. New Orleans, LA, USA, 2017. P. 290296.
50. Ford H., Puschmann C., Dubois D. Keeping Ottawa Honest, One Tweet at a Time? Politicians, journalists, Wikipedians and their Twitter bots // International Journal of Communication. 2016. Vol. 10. P. 4891-4914.
51. Hwang T., Woolley S. How Politicians Should and Shouldn't Use Twitter Bots // Slate. 2016. URL: https://slate.com/technology/2016/03/how-politicians-should-use-twitter-bots.html (дата обращения: 11.12.2019).
Статья поступила в редакцию 18 декабря 2019 г.; рекомендована в печать 13 января 2020 г.
Контактная информация:
Василькова Валерия Валентиновна — д-р филос. наук, проф.; v.vasilkova@spbu.ru
Трекин Павел Александрович — студент; p.trekin@spbu.ru
Computational propaganda: Structural characteristics and vectors of research*
V. V. Vasilkova, P. A. Trekin St. Petersburg State University,
7-9, Universitetskaya nab., St. Petersburg, 199034, Russian Federation
For citation: Vasilkova V. V., Trekin P. A. Computational propaganda: Structural characteristics and vectors of research. Vestnik of Saint Petersburg University. Sociology, 2020, vol. 13, issue 1, pp. 68-83. https://doi.org/10.21638/spbu12.2020.105 (In Russian)
The term "computer propaganda" appeared several years ago because of the intersection of a number of sciences (computer sciences, political science, sociology, linguistics, social psychology, etc.). This phenomenon attracts attention for both technological and societal reasons. Therefore, the authors aim to reveal and analyze the main vectors of the development of theoretical concept of computer propaganda from the standpoint of the socio-communication approach. For this purpose, they identify the main structural characteristics of the concept corresponding to the characteristics of the process of information influence (object of propaganda, forms, channels, subjects of propaganda). Based on this position, the authors consider the original concept of propaganda presented in classical works on theory and practice of propaganda, and reveal the specifics of the new concept of computer propaganda. New characteristics of the target propaganda audience, a segmented structure of network virtual communities with the property of uncritical perception of "convenient and familiar" information, form specific features of the computer propaganda object. The authors outline that purposefully designed and circulated fake information in social networks is a new form of computer propaganda, and social bots as algo-rithmized programs, that allow for such distribution with maximum speed and scale, are a new channel of distribution for such information. The subjects of computer propaganda are the new political and business elites that have joined forces with representatives of the technological elite. In addition, current negative connotations dominate in the interpretation of computer propaganda as a communicative practice of using new computer technologies for manipulation and disinformation in online space. In conclusion, the authors discuss the possible perspectives of this topic, related to the understanding of the broader (neutral-information) context in understanding the phenomenon of computer propaganda.
Keywords: propaganda, object and subject of propaganda, fakes, social bots. References
1. Woolley S. C., Howard P. N. Computational propaganda: political parties, politicians, and political manipulation on social media. Oxford University Press, 2018.
2. Corneliu B. The Ethics of Countering Digital Propaganda. Carnegie Council for Ethics in International Affairs, 2018, vol. 32, iss. 3, pp. 305-315. Available at: https://www.cambridge.org/core/journals/ethics-and-international-affairs/article/ethics-of-countering-digital-propaganda/DF393C0793F31EE0940E9208E24C-B6A8 (accessed: 10.12.2019).
3. Ncube L. Digital Media, Fake News and Pro-Movement for Democratic Change (MDC) Alliance Cyber-Propaganda during the 2018 Zimbabwe Election. African Journalism Studies, 2019, vol. 40. Available at: https://www.tandfonline.com/doi/figure/10.1080/23743670.2019.1670225?scroll=top&needAccess=true (accessed: 10.12.2019).
4. Chomsky N. Media Control: The Spectacular Achievements of Propaganda. New York, Seven Stories Press, 2004.
5. Cunningham S. The Idea of Propaganda: A Reconstruction. Westport, Praeger, 2002.
6. Rutherford P. Endless Propaganda: The Advertising of Public Goods. Toronto, University of Toronto Press, 2000.
* The reported study was funded by the Russian Foundation for Basic Research on the research project no. 18-011-00988 "Structure of botnet space of social networks: network analysis".
7. Akin Unver H. Digital Challenges to Democracy: Politics of Automation, Attention and Engagement. Journal of International Affairs, 2017, vol. 71, no. 1, pp. 127-146.
8. Schiffrin A. Disinformation and Democracy: the Internet Transformed Protest but Did Not Improve Democracy. Journal of International Affairs, 2017, vol. 71, no. 1, pp. 117-126.
9. Bradshaw S, Howard F. The Global Organization of Social Media Disinformation Campaigns. Journal of International Affairs, 2017, vol. 71, no. 1, pp. 23-32.
10. Vasil'kova V. V., Legostaeva N. I. Social bots in political communication. Vestnik RUDN. Seriia Sotsiologiia, 2019, no. 1, pp. 121-131. (In Russian)
11. Wood A. Propaganda and Democracy. Theoria: An International Journal for Theory, 2016, vol. 31, no. 3, pp. 381-394.
12. Stanley J. How Propaganda Works. Princeton, Princeton University Press. 2015.
13. Berneis E. Propaganda, transl. by I. Iushchenko. Moscow, Hippo Publishing, 2010. (In Russian)
14. Tsuladze A. M. Political manipulation or conquering the crowd. Moscow, Knizhnyi dom Universitet Publ., 1999. (In Russian)
15. Predvechnyi G. P., Sherkovin Iu. A. Social psychology. Moscow, Politizdat Publ., 1975. (In Russian)
16. Aronson E., Pratkanis E. Age of propaganda: The Everyday Use and Abuse of Persuasion. St. Petersburg, Praim-EVROZNAK Publ., 2003. (In Russian)
17. Voitasik L. Psychology of political propaganda. Moscow, Progress Publ., 1981. (In Russian)
18. Kara-Murza S. Mind manipulation. Moscow, Eksmo Publ., 2006. ( In Russian)
19. Lassvell G. Propaganda Technique in the World War. Moscow, Leningrad, Gosudarstvennoe izdatel'stvo; otdel voennoi literatury Publ., 1929. (In Russian)
20. Lebon G. Psychology of a crowd. Moscow, In-t psikhologii RAN, KSP Publ., 1998. (In Russian)
21. Khalpern D. Thought and Knowledge: An Introduction to Critical Thinking. St. Petersburg, Piter Publ., 2000. (In Russian)
22. Taylor P. M. Munitions of the mind: A history of propaganda from the ancient world to the present day. Manchester; New York, 1995.
23. Lasswell H. D. The Theory of Political Propaganda. The American Political Science Review, 1927, vol. 21, no. 3, pp. 627-631.
24. Shchedrovitskaia M. Patrik Champagne: make an opinion. So-Obshchenie, 1999, no. 1. Available at: http://www.soob.ru/n/1999/1/5/1 (accessed: 10.12.2019). (In Russian)
25. Volodenkov S. V. The influence of Internet communication technology on modern socio-political processes: scenarios, challenges and actors. Monitoring obshchestvennogo mneniia: Ekonomicheskie i sotsial'nye peremeny, 2019, no. 5, pp. 341-365. (In Russian)
26. Hasher L., Goldstein D., Toppino T. Frequency and the conference of referential validity. Journal of Verbal Learning and Verbal Behavior, 1977, no. 16 (1), pp. 107-112.
27. Fazio L. K., Brashier N. M., Payne B. K., Marsh E. J. Knowledge Does Not Protect Against Illusory Truth. Journal of Experimental Psychology: General, 2015, vol. 144, no. 5, pp. 993-1002.
28. Friggeri A., Adamic L. A., Eckles D., Cheng J. Rumor Cascades. Proceedings of the Eighth International AAAI Conference on Weblogs and Social Media. Michigan, USA. June 1-4, 2014. Published by The AAAI Press, Palo Alto, California, pp. 101-110.
29. Bakshy E., Eckles D., Yan R, Rosenn I. Social influence in social advertising: evidence from field experiments. Proceedings of the 13th ACM Conference on Electronic Commerce (EC '12). 2012. ACM, New York, USA, pp. 146-161.
30. Bakshy E., Messing S., Adamic L. Exposure to ideologically diverse news and opinion on Facebook. Research Reports. Political Science, 5 June 2015, vol. 348, iss. 6239, pp. 1130-1132.
31. Vasil'kova V. V., Sadchikov D. I. Fakes and bots as mechanisms of information distortion in social networks. Kazanskii sotsial'no-gumanitarnyi vestnik, 2019, no. 2, pp. 24-30. (In Russian)
32. Conroy N. J., Rubin V. L., Chen Y. Automatic deception detection: Methods for finding fake news. ASIST'15. Proceedings of the 78th ASIS&T Annual Meeting: Information Science with Impact: Research in and for the Community. St. Louis, Missouri. 2015. November 6-10. Available at: https://onlinelibrary.wiley.com/ doi/full/10.1002/pra2.2015.145052010082 (accessed: 09.12.2019).
33. Klein D. O., Wueller J. R. Fake news: A legal perspective. Journal of Internet Law, 2017, vol. 20, no. 10, pp. 5-13.
34. Pérez-Rosas V., Kleinberg B., Lefevre A., Mihalcea R. Automatic Detection of Fake News. Proceedings of the 27th International Conference on Computational Linguistics. August 2018. Santa Fe, New Mexico, USA. Publisher Association for Computational Linguistics, pp. 3391-3401.
35. Wu K., Yang S., Zhu K. Q. False rumors detection on Sina Weibo by propagation structures. IEEE 31stInternational Conference on Data Engineering 13-17April 2015. Available at: https://ieeexplore.ieee.org/ document/7113322 (accessed: 10.12.2019).
36. Shu K., Sliva A., Wang S., Tang J., Liu H. Fake News Detection on Social Media: A Data Mining Perspective. ACM SIGKDD Explorations Newsletter, 2017, vol. 19, iss. 1, pp. 22-36.
37. Ferrara E., Varol O., Davis C., Menczer F., Flammini A. The rise of social bots. Communications of the ACM, 2016, vol. 59, no. 7, pp. 96-104. https://doi.org/10.1145/2818717.
38. Stieglitz S., Brachten F., Ross B., Jung A.-K. Do Social Bots Dream of Electric Sheep? A Categorisation of Social Media Bot Accounts. Australasian Conference on Information Systems. Hobart, Australia. 2017. Available at: https://arxiv.org/ftp/arxiv/papers/1710/1710.04044.pdf. (accessed: 10.12.2019).
39. Metaxas P. T., Mustafaraj E. Social media and the elections. Science, 2012, vol. 338, no. 6106, pp. 472-473. https://doi.org/10.1126/science.1230456.
40. Bessi A., Ferrara E. Social Bots Distort the 2016 US Presidential Election Online Discussion. First Monday, 2016, vol. 21, no. 11. Available at: https://firstmonday.org/article/view/7090/5653 (accessed: 11.12.2019).
41. Howard P. N., Bolsover G., Kollanyi B., Bradshaw S., Neudert L. Junk news and bots during the U. S. Election: What were Michigan voters sharing over Twitter? CompProp, OII Data Memo: Project on Computational Propaganda, 2017, vol. 1. Available at: https://comprop.oii.ox.ac.uk/research/working-pa-pers/junk-news-and-bots-during-the-u-s-election-what-were-michigan-voters-sharing-over-twitter/ (accessed: 11.12.2019).
42. Schäfer F., Evert S., Heinrich P. Japan's 2014 General Election: Political Bots, Right-Wing Internet Activism, and Prime Minister Shinzö Abe's Hidden Nationalist Agenda. Big data, vol. 5, no. 4, pp. 294-309.
43. Forelle M. C., Howard P. N., Monroy-Hernandez A., Savage S. Political bots and the manipulation of public opinion in Venezuela. CompProp, OII Data Memo: Project on Computational Propaganda, 2015, vol. 1. Available at: http://comprop.oii.ox.ac.uk/wp-content/uploads/sites/89/2015/08/C0MPR0P-2015-1. pdf (accessed: 11.12.2019).
44. Arnaudo D. Computational Propaganda in Brazil: Social Bots During Elections. Project on Computational Propaganda, 2017, vol. 8, pp. 1-39. Available at: https://comprop.oii.ox.ac.uk/research/ working-papers/computational-propaganda-in-brazil-social-bots-during-elections/ (accessed: 11.12.2019).
45. Varol O., Ferrara E., Davis C. A., Menczer F., Flammini A. Online human-bot interactions: Detection, estimation, and characterization, in: Eleventh international AAAI conference on web and social media. 2017. Available at: https://www.researchgate.net/publication/314433388_Online_Human-Bot_ Interactions_Detection_Estimation_and_Characterization (accessed: 12.11.2019).
46. Manovich L. The Science of Culture? Social Computing, Digital Humanities and Cultural Analytics. Available at: http://manovich.net/content/04-projects/088-cultural-analytics-social-computing/cultural_ analytics_article_final.pdf (accessed: 11.12.2019).
47. Volodenkov S. A. Digital technologies as a factor in changing relations in the state-society system. Navstrechu "tsifrovomu obshchestvu": ekspertnye otsenki i prognozy. Moscow, Nauka Publ., 2019, pp. 9-12. (In Russian)
48. Vasil'kova V. V., Legostaeva N. I., Radushevskii V. B. Social bots as a tool for the development of civic participation. Monitoring obshchestvennogo mneniia: Ekonomicheskie i sotsial'nyeperemeny, 2019, no. 5, pp. 19-42. (In Russian)
49. Velazquez E., Yazdani M., Suarez-Serrato P. Socialbots supporting human rights. AIES '18 Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society. New Orleans, LA, USA, 2017, pp. 290-296.
50. Ford H., Puschmann C., Dubois D. Keeping Ottawa Honest, One Tweet at a Time? Politicians, journalists, Wikipedians and their Twitter bots. International Journal of Communication, 2016, vol. 10, pp. 4891-4914.
51. Hwang T., Woolley S. How Politicians Should and Shouldn't Use Twitter Bots. Slate, 2016. Available at: https://slate.com/technology/2016/03/how-politicians-should-use-twitter-bots.html (accessed: 11.12.2019).
Received: December 18, 2019 Accepted: January 13, 2020
Authors' information:
Valeria V. Vasilkova — Dr. Sci. (Philos.), Professor; v.vasilkova@spbu.ru
Pavel A. Trekin — Student; p.trekin@spbu.ru
