CC BY
123
ФИЛОСОФСКИЙ ВЗГЛЯД НА ГЛОБАЛЬНЫЕ ПРОБЛЕМЫ СОВРЕМЕННОСТИ
3
Вестник Челябинского государственного университета. 2019. № 8 (430). Философские науки. Вып. 53. С. 5—10.
УДК 1:316 ББК 60.01
DOI 10.24411/1994-2796-2019-10801
Эволюция систем искусственного интеллекта (ИИ),
появление цифровых и иных сверхтехнологий и их влияние на изменение социальной реальности, на создание нового качества общественной жизни
В. А. Кузнецов
Челябинский государственный университет, Челябинск, Россия
В статье предпринята попытка осветить влияние новых передовых технологий (искусственного интеллекта, роботизации и др.) на изменение жизни человечества и личности. Содержание заявленной темы фактически подводит нас к проблеме будущего социума, и прежде всего в его социально-экономической и духовной сферах.
Ключевые слова: искусственный интеллект, Интернет, компьютерные сети, нейросеть, робот, мышление, сознание, общество.
В настоящее время появляется много статей, в которых пугают человечество ожиданиями катастроф, в которых оно погибнет. Так, российский физик-футуролог Алексей Турчин предпринял попытку систематизации явлений, которые приведут к «концу света» в XXI в. и назвал сто таких причин [9—10].
Он разделил риски, которые возникнут в течение ста лет из-за стремительно развивающихся сверхтехнологий на следующие группы: 1) риски, возникающие на основе нанотехнологий (управление неживой материей, связанное с созданием новых наноматериалов); 2) на основе биотехнологий (управление живой материей; коррекция организмов, создание тканей, вирусов); 3) на основе совершенствования систем искусственного интеллекта (управление информацией и «всем, чем угодно»). А. Турчин утверждает, что системы ИИ могут взять под контроль Интернет и любые компьютерные сети и тем самым смогут повлиять на изменения в социуме.
Еще один пример такого риска «во зло». В наше время биохакеру не составит труда вырастить вирус, способный уничтожить значительную часть человечества. Сегодня ученым известно, какие буквы генетического алфавита нужно поменять в вирусах, чтобы они приобрели абсолютную летальность.
Исследователи отмечают около десятка основных сценариев возможных катастроф. Они их называют базовыми. Среди них: экстремальное изменение климата; пандемия, вспышка на Солнце, авария при научном эксперименте; падение астероидов, ядерная война и др.
Возможный (но маловероятный) сценарий планетной катастрофы — это парниковая катастрофа как необратимое изменение климата, например, из-за роста температуры до 100 градусов Цельсия и более. По расчетам физика А. Карнаухова, могут вырваться на свободу огромные запасы метана в Арктике, а его парниковый эффект во много раз превосходит воздействие углекислого газа.
Климатические аномалии вызывают миграцию и социальные катаклизмы из-за уменьшения пищи и годной к употреблению воды. В конечном счете изменение климата может привести к гибели многих биологических видов.
Астероидная опасность: согласно теории вероятности, в ближайшие сто лет ничего крупного на нас не упадет (в год у Земли один шанс из миллиона столкнуться с астероидом).
Ядерная опасность: известен случай, когда спутники ошибочно выдали блики от Солнца за запуски американских ракет, предупреждающаяся система дала команду на ответный ядерный удар, но, проанализировав ситуацию, русский ракетчик подполковник Станислав Петров отменил ее.
Другие риски катастроф связываются с наноро-ботами. Они невидимы, будут доставлять к больным органам лекарства, лечить человека изнутри, продвигаясь по кровеносным сосудам (очищать кровь) и даже проводить хирургические операции.
Другие роботы (промежуточные между механизмом и живой клеткой) будут способны осуществлять молекулярное воспроизводство и размножаться (реплицироваться). Идею о таких роботах выдвинул еще в 1986 г. «отец нанотех-нологий» американский ученый, инженер Эрик Дрекслер (а затем американский исследователь Роберт Фрейтас). Э. Дрекслер высказал теоретический сценарий катастрофы под названием «Серая слизь» [4, ч. 3, гл. 11], когда подселенный в человека миниатюрный (размером с клетку) наноробот, который должен размножиться, например, сто раз, из-за сбоя выходит из под контроля, «не останавливается» и продолжает все на своем пути раскладывать на составные элементы и собирать из них собственные копии, как вирус. Они заполняют всю планету: человеческие тела, биосфера — все служит ему строительным материалом, и, пожирая биомассу, он и превращают ее в серую слизь. Согласно расчетам, все живое на нашей планете такие «сошедшие с ума» роботы смогут превратить в серую слизь за два дня. Недавно ученые из Бристоля создали робота для очистки водоемов, способного поедать живые организмы и получать за счет этого необходимую ему энергию.
Другая разновидность потерявших контроль медицинских роботов может начать вместо лекарства впрыскивать человеку различные яды. Такие роботы могут стать оружием террористов. Пока еще такие нанороботы не созданы. Другой подобный вариант такого сценария: кто-то подбросит наноробота неприятелю в военных целях, а дальше он также начнет неконтролируемо раз-
множаться. И тогда вдруг все может пойти не так, как предполагали стратеги, и он принесет вред своим войскам.
Мы уже упоминали о риске для жизни человечества такого явления, как биохакерство, биохакинг. Этот риск получил название «Вирус из гаража». Один из первых биохакеров стал молодой американский физик Р. Карлсон, мечтавший создать новейшие технологии в молекулярной генетике. У него была цель — создать новые, более простые технологии лечения людей, которыми могли бы пользоваться сами больные. Для этого он создал биолабораторию у себя дома. Подобные ему биохакеры ищут формулу перспективного биотоплива, изучают собственные геномы, создают новые вирусы. Опасность такого любительского биохакерства заключается в том, что могут быть созданы такие вирусы, которые погубят человечество. Задача — осознать опасность проблемы и противодействовать биохакингу.
Но главные риски и ученные, и философы, и публицисты-фантасты связывают с развитием систем искусственного интеллекта (ИИ). О рисках ИИ сейчас можно прочитать и в серьезных книгах, и в желтой прессе. Одни специалисты считают, что создать ИИ как полный аналог человеческому сознанию можно, другие, такие как Б. Гейтс, скептически настроены относительно времени создания ИИ. Часть ученых-специалистов считают, что создать системы ИИ, обладающие сознанием, невозможно и берут словосочетание «ИИ» в кавычки.
Вначале о взглядах тех, кто говорит об опасности систем ИИ. И прежде всего о взглядах Илона Маска [5]. Его взгляды вытекают из мысленной гипотезы, подобной концепции Э. Дрекслера, имеющей радикальный взгляд. Сторонники такого радикализма считают ИИ программой, которая начнет усиливать сама себя и за короткий срок превзойдет способности человека, а дальше сможет истребить или «испортить жизнь» людей. Например, кто-нибудь неосторожно скажет: «Давайте посчитаем число пи» — и программа начнет строить суперкомпьютер максимальной мощности, используя все земные ресурсы, включая людей. Это так называемый сценарий paperclip maximize (максимизатор скрепок). Его в 2003 г. описал известный философ Ник Бостром, руководящий Институтом «Будущее человечества» в Оксфордском университете. Он выдвинул гипотезу о том, что если система ИИ «собьется» на такую цел, как производство скрепок, то эта система из всего, что есть в мире, будет делать только скрепки [12]. В данном случае система ИИ стала сумасшедшей штуковиной, которую не ин-
тересует ничего, кроме скрепок, и она делает их изо всего подряд. И все такие сценарии сводятся к обобщающей схеме: ИИ сначала предложит «скачать» его, как это бывает в вирусной рассылке, а «затем захватит Землю — запрограммирует здесь все, что можно, проникнет в передающие станции и начнет рассылать себя дальше».
Итак, сейчас широко распространено мнение, что ИИ очень опасен для человечества. Это мнение поддерживается известным предпринимателем Илоном Маском. Поэтому он, опасаясь того, что такие системы могут принять решение об убийстве людей, предлагает ограничить их деятельность, надежно их контролировать. Если с этим мы с этим не справимся, то нужно человечеству перебраться с Земли на Марс. Для контроля эволюции систем ИИ И. Маск в 2015 г. запустил проект ОрепА1, задача которого — обезопасить человечество путем создания открытой системы дружественного интеллекта: каждый исследователь будет обмениваться результатами своей работы, и в итоге появится не единый, а гипермногополярный искусственный интеллект, то есть разные ИИ будут друг друга уравновешивать. Хотя это, как считает часть ученых, «все равно что раздать всем атомную бомбу».
Подобных позиций Маска придерживался и недавно покинувший наш мир всемирно известный ученый Стивен Хокинг. Он предупреждает: «Появление полноценного искусственного интеллекта может стать концом человеческой расы. Такой разум возьмет инициативу на себя и станет сам себя совершенствовать со все возрастающей скоростью. Возможности людей ограничены медленной эволюцией, мы не можем тягаться со скоростью машин и проиграем» [11].
Риски, связанные с ИИ, ближе к нам, чем кому-то кажется. В результате совершенствования ИИ возникают этические дилеммы: если на пути несущегося беспилотника неожиданно возникает преграда — на одной дороге один человек, а на другой — пять, кого он должен задавить? Роботу пытаются приписать сложнейшую человеческую сферу деятельности — операцию с ценностями, с системами ценностей. Возникает философская проблема, каким образом дойдет ИИ до осознания ценности и дойдет ли? Когда-то замечательный писатель-фантаст Айзек Азимов разработал законы робототехники. Первый из них гласит, что робот не может причинить вреда человеку [1, с. 3—79].
Различные и даже полярные позиции в отношении ИИ вытекают и из различного понимания сущности и содержания системы ИИ.
В настоящее время под ИИ понимают некую совокупность технологий, решающих «интел-
лектуальные» задачи (и более ничего). Другое содержание понятия ИИ было создано в кино и литературе. В результате этого у людей сложилось представление о том, что роботы обладают разумом, сравнимым с человеческим. Интеллект и разум абсолютно разные вещи, их не надо смешивать. Об этом говорят сами специалисты, разрабатывающие эти системы.
Сейчас для разработчиков ИИ основная работа — машинное обучение, в частности работа с нейронными сетями. Специалисты обучают системы ИИ решать задачи: «запоминать» изображения, переводить тексты. Об этих процессах в совершенствовании ИИ рассказал в недавнем интервью один из специалистов по нейронным системам Михаил Бурцев. Именно он назвал взгляды Илона Маска и Стивен Хокинга, которые считают, что ИИ угрожает жизни человечества, «слегка параноидальным подходом к этой теме», что они «скорее пугают людей» [2, с. 8—9] Таково отношение специалиста по ИИ к высказываниям неспециалистов по данной теме.
Начало работ по созданию роботизированных систем относится к 1950-м гг. Образовались два подхода к изучению ИИ.
При первом подходе (символьном) моделировали мыслительные функции человека, его рассудочную деятельность и поведение.
Но потом верх взял другой подход, который предполагает моделирование работы нейронных сетей. Потом, в 1970-е гг., стали обучать нейросе-ти решать задачи приближения или замены одних функций другими, в каком-то смысле близкими к исходным, но более простыми (заметьте, функции нейронной сети человеческого мозга есть результат усложнения системы; а в этом случае, наоборот, функции как результат упрощения — В. К.). «В этом как раз проявилось основное отличие нейронных сетей от классических алгоритмов, в случае которых программист должен заранее задать последовательность вычислений, необходимых для решения задачи». М. Бурцев констатирует: «С нейросетями нам не нужно знать эту последовательность — достаточно иметь много примеров входных данных и правильных ответов, а затем применить алгоритм обучения, который автоматически настроит параметры нейросети. В результате нейросеть сможет решать задачу не только для знакомых примеров, но и для всех остальных случаев. Например, вам нужно научить нейросеть отличать пирожные от бананов на картинках. Вы берете несколько тысяч картинок и размечаете их — где пирожные, а где бананы. После этого обучаете нейросеть предсказывать правильный ответ. Алгоритм учится обобщать обучающую
выборку, на которой он тренировался, и в итоге может работать с незнакомыми картинками» [2, с. 8—9]. То есть нейросети не программируют в стандартном понимании, их тренируют. Поэтому результат сильно зависит от объема данных: чем их больше, тем выше качество решения.
Другой специалист в области ИИ Тимур Пал-ташев, работающий ныне в Силиконовой долине, Калифорния, в своем интервью подчеркивает, что «сейчас на вооружении исследователей компьютеры в десятки терафлопс», но, несмотря на это, пока особых успехов нет. «Все, что сегодня делают разработчики ИИ, — это тренируют нейронные сети распознавать объекты: например, на автотранспорте — пешеходов, собак, кошек... если мы хотим, чтобы машина ездила свободно по всем типам местностей, нам придется оснастить ее большим блоком памяти» [8, с. 16—17]. М. Бурцев отмечает задачу европейского исследовательского проекта — сначала полностью смоделировать мозг мыши, а потом и человека. Насколько точно модель будет отображать человеческий мозг — это открытый вопрос.
Сейчас в лаборатории МФТИ, говорит М. Бурцев, занимаются применением нейросетевых методов к задачам ведения диалога. В настоящее время системы ИИ пока «плохо держат» длинный контекст.
Какие же вопросы следуют из сказанного? Можно утверждать, что проблема «восстания машин» фантастична, так как сам механизм обучения систем ИИ строится на жесткой фиксации в сценарии обучения. Здесь следует обратиться к ученым, исследующим мозг человека, к специалистам в области нейронауки и психолингвистики. Именно они говорят, что сложнее мозга нет ничего во Вселенной. Мозг — это сложнейшая нейронная сеть, которая постоянно меняется, это «сеть сетей, гиперсеть, гиперсеть гиперсетей». Так, профессор Санкт-Петербургского университета Татьяна Черниговская в своем выступлении на Санкт-Петербургском экономическом форуме заявила: «Если хоть как-то удастся разгадать, что происходит в человеческом мозгу, это изменит всю нашу цивилизацию: экономику, коммуникацию, образование — это изменит все» [13]. Мы должны изучать мозг для того, чтобы имитировать его работу в системах ИИ. Далее Т. Черниговская заявила, что «мы зависим от того, как соображает наш мозг. Останется ли человек человеком? Что такое личность, и исчезнет ли она в сетевом мире? <...> Если вам пересадили мозг другого человека, вы кто? Тот, чье тело, или тот, чей мозг? Разумеется, тот, чей мозг» [13]. В этом случае нужно уточнить: мозг не пересаживают,
это тело пересаживают, присоединяют к другому мозгу, а вашего мозга уже нет — В. К.).
Говорят, что произойдет слияние человека и робота, что мы станем «киборгами» (что отчасти верно) путем внедрения искусственных органов и расширения сенсорных возможностей человека. Пишут о внедрении чипов «с закачанной информацией, идеями» и что поэтому «ваши решения будут уже не ваши». Но клетки (как система) не имеют дело с идеями и образами, они вступают во взаимодействие только с поступающими извне в клетку веществом и энергией. Так куда «закачать идеи»?
Иногда рисуют фантастические конструкции, не вдаваясь в содержание понятий, которыми оперируют. Для некоторых авторов нет различия между понятиями «разум», «сознание», «мышление», «интеллект». Например, Майк Бутчер (редактор TechGrunh Europe) предсказывает: «Через 40 лет вы сможете скачать свой мозг и свое сознание и залить их в компьютер, они будут жить самостоятельной жизнью» [3]) Возникают вопросы: что значит «скачать» свой мозг и сознание? И зачем «скачивать» нейроны, молекулы, атомы? Чтобы «скачать» или «сконструировать» сознание, его необходимо описать конечным числом слов. Попробуйте описать хотя бы эмоции, страсти, фрустрации, волю, интересы, мотивы и т. п. Другой вопрос: откуда «скачивать» сознание? В центральной нервной системе человека во главе с мозгом вы не найдете ничего, кроме молекул и атомов. Вы не найдете никаких идей и образов! Сознание в мозговых структурах не живет (В. К.). Сознание возникает только при взаимодействии человека с человеком по поводу других объектов. Сознание живет только при взаимодействии человека с миром. Сознание — это сразу и мир.
В чем причины живучести сценариев катастроф и роста на этой основе беспокойства людей? Один из исследователей ИИ, главный редактор журнала «Мир ПК» Олег Капранов говорит: «Как показывает опыт футурологов и фантастов предыдущих лет, традиционно ошибка строится на том, что мы линейно прогнозируем развитие существующих сегодня технологии» [6, с. 17]. Это только в фильмах и в книгах нам показывают роботов, у которых в определенный момент взаимодействия с людьми появляется сознание. Интеллект-то искусственный, а любовь-то показывают настоящую. Поэтому возникает вопрос: «Что значит — робот осознал себя, и что тогда считать сознанием»?
Когда человек выполняет какую-то задачу, он в это время контролирует другие объекты, процессы, в том числе он ощущает присутствие, боль, вибрацию и т. п., а система ИИ, согласно опре-
делению ученых, вообще с этим дело не имеет. Сознание начинается с сомнения и заканчивается сомнением. Вначале: что это?, почему это?, как это?, а потом верен ли, достоверен ли мой образ, идея обо всем этом? В описанных сценариях системы ИИ лишены сомнения. Проблема создания именно «сверхумной» машины в этом.
Итак, все упирается в соотношение: сомнение — переживание — ценность. Дойдет ли ИИ до ценности, до сознания? А если дойдет, не станет ли система ИИ еще более ошибаться? Ведь сознание, ценность без интереса не существует. Требуется принимать решения на основе разно-мотивационной направленности. Может ли тогда система ИИ саморазрушится? Видимо, поэтому ученые не рекомендуют пока внедрять ИИ в сферы, где его непредсказуемость («ИИ сошел с ума») может плохо закончиться для всего человечества — в инфраструктуру обороны и безопасности. В эпоху систем ИИ должна измениться и система ценностей человечества.
Возникают труднейшие философские и научные вопросы: возможно ли создание искусственных психических структур? Как возможна самоорганизация роботизированных систем? Ведь пока ученые работают с системами, более простыми, чем мозг, человек. Они более увлечены количественными улучшениями функций интеллектуальной деятельности квазиподобной мозговой структуры человека.
Мы уже видим, как системы ИИ меняют наш мир. Интернет усиливает свое влияние на все важнейшие сферы жизни: социальную, политическую, экономическую, научную, духовную. Замечено отчуждение людей от реального мира, люди меняют его на виртуальный мир и там «живут». Недавно на экраны мира вышел новый фильм Стивена Спилберга «Первому игроку приготовиться». В своей рецензии одна из известных кинокритиков Л. Малюкова отмечает: «Игра — не просто драйв... В игре ты не нищий, <...> а Супермен. <.. .> Тебе нет преград, потому что море и суша — виртуальные. Там, в игре, — смысл твоей жизни и друзья, которых в реале ты не узнаешь. <...> И остаются там. Зачем биться с реальностью, если можно обрести виртуальную дружбу, виртуальную влюбленность».
Итак, люди вступают в глобальную иммерсив-ную онлайн-игру, обеспечивающую полный эффект присутствия, погружающую в созданную компьютером среду. Цифровая «вселенная» одерживает победу над действительностью. Поэтому Интернет становится важнейшим полем битвы между властными структурами и обществом. Элита начинает чувствовать, что информационное общество, системы ИИ могут привести к уменьшению их власти. Возможно, что информационное общество — это путь к созданию новых форм общественной жизни, путь к ликвидации национальных государств и политики.
Список литературы
1. Азимов, А. Я, робот : сборник / А. Азимов. — М., 2003.
2. Бурцев, М. «У Илона Маска — параноидальный подход». Как технологии искусственного интеллекта меняют жизнь и мировую экономику / М. Бурцев // Новая газета. — 2018. — № 22. — 2 марта. — С. 8—9.
3. Майк Бутчер отвечает на ваши вопросы. — URL: https://thequestion.ru/interview/2936/maik-butcher.
4. Дрекслер, К. Э. Машины создания: Грядущая эра нанотехнологий / К. Э. Дрекслер, М. Мински. — Оксфорд, 1986.
5. Интервью с Илоном Маском. — URL: ttps://www.popmech.ru/technologies/13267-intervyu-s-elonom-maskom.
6. От сообщества приматов — к невообразимому будущему // Новая газета. — 2016. — № 88. — URL: https://www.novayagazeta.ru/issues/2434.
7. Тимур Палташев о том, насколько велики успехи в создании искусственного интеллекта и насколько опасны. — URL: https://ya-r.ru/2017/09/18/timur-paltashev-o-tom-naskolko-veliki-uspehi-v-sozdanii-iskusstvennogo-intellekta-i-naskolko-opasny.
8. Турчин, А. В. Структура глобальной катастрофы / А. В. Турчин. — М., 2010;
9. Турчин, А. В. Футурология. XXI век. Бессмертие или глобальная катастрофа? / А. В. Турчин, М. А. Бахтин. — М., 2013. — URL: https://libking.ru/books/nonf-/nonf-publicism/205876-aleksey-turchin-rossiyskaya-akademiya-nauk.html.
10. Кехлан-Джонс, Р. Хокинг: искусственный интеллект — угроза человечеству / Р. Кехлан-Джонс. — URL: https://www.bbc.com/russian/science/2014/12/141202_hawking_ai_danger.
11. Бистром, Н. Искусственный интеллект. Этапы. Угрозы. Страсти / Н. Бистром. — М., 2015. — URL: https://www.bookcity.club/2977/
12. Встреча на вершине. Игры разума с Т. Черниговской. 2014—2015. — URL: http://tvkultura.ru/ video/show/brand_id/57589/episode_id/1169106.
Сведения об авторе
Кузнецов Владимир Александрович — доктор исторических наук, профессор кафедры философии, Челябинский государственный университет, Челябинск, Россия. vladkuz@mail.ru
Bulletin of Chelyabinsk State University. 2019. No. 8 (430). Philosophy Sciences. Iss. 53. Pp. 5—10.
The evolution of artificial intelligence (AI) systems, the emergence of digital and other supertechnologies and their impact on changing social reality, on the creation of a new quality of social life
V.A. Kuznetsov
Chelyabinsk State University, Chelyabinsk, Russia. vladkuz@mail. ru
The article attempts to highlight the impact of new advanced technologies (artificial intelligence, robotics, etc.)
on the change in the life of mankind and personality. The content of the stated theme actually brings us to the
problem of the future society and above all in its socio-economic and spiritual spheres.
Keywords: artificial intelligence, Internet, computer networks, neural network, robot, thinking, consciousness,
society.
References
1. Azimov A. Ya, robot [I am a robot]. — Moscow, 2003. (In Russ.).
2. Burtsev M. «U Ilona Maska — paranoidal'nyi podkhod». Kak tekhnologii iskusstvennogo intellekta menyayut zhizn' i mirovuyu ekonomiku ["Elon Musk has a paranoid approach." How artificial intelligence technology is changing life and the global economy]. Novaya gazeta [New Newspaper], 2018, no. 22, Marth 2, pp. 8—9. (In Russ.).
3. Maik Butcher otvechaet na vashi voprosy [Mike Butcher answers your questions]. Available at: https:// thequestion.ru/interview/2936/maik-butcher. (In Russ.). (In Russ.).
4. Dreksler K.E., Minski M. Mashiny sozdaniya: Gryadushchaya era nanotekhnologii [Creation Machines: The Coming Era of Nanotechnology]. — Oksford, 1986. (In Russ.).
5. Interv'yu s Ilonom Maskom [Interview with Elon Mask]. Available at: ttps://www.popmech.ru/ technologies/13267-intervyu-s-elonom-maskom. (In Russ.).
6. Ot soobshchestva primatov — k nevoobrazimomu budushchemu [From the primacy community to an unimaginable future]. Novaya gazeta [New Newspaper], 2016, no. 88. Available at: https://www.novayaga-zeta.ru/issues/2434. (In Russ.).
7. Timur Paltashev o tom, naskol 'ko veliki uspekhi v sozdanii iskusstvennogo intellekta i naskol 'ko opasny [Timur Paltashev on how great is the success in creating artificial intelligence and how dangerous]. Available at: https://ya-r.ru/2017/09/18/timur-paltashev-o-tom-naskolko-veliki-uspehi-v-sozdanii-iskusstvennogo-intellekta-i-naskolko-opasny. (In Russ.).
8. Turchin A.V. Struktura global'noi katastrofy [Global catastrophe structure]. Moscow, 2010. (In Russ.).
9. Turchin A.V., Bakhtin M.A. Futurologiya. XXIvek. Bessmertie ili global'naya katastrofa? [Futurology. KSHI century. Immortality or global disaster?]. Moscow, 2013. Available at: https://libking.ru/books/nonf-/ nonf-publicism/205876-aleksey-turchin-rossiyskaya-akademiya-nauk.html. (In Russ.).
10. Kekhlan-Dzhons R. Khoking: iskusstvennyi intellekt — ugroza chelovechestvu [Hawking: artificial intelligence — a threat to humanity]. Available at: https://www.bbc.com/russian/science/2014/12/141202_ hawking_ai_danger. (In Russ.).
11. Bistrom N. Iskusstvennyi intellekt. Etapy. Ugrozy. Strasti [Artificial Intelligence. Stages Threats Passion]. Moscow, 2015. Available at: https://www.bookcity.club/2977. (In Russ.).
12. Vstrecha na vershine. Igry razuma s T. Chernigovskoi. 2014—2015 [Meeting at the top. Games of the mind with T. Chernigovskaya. 2014—2015]. Available at: http://tvkultura.ru/video/show/brand_id/57589/ episode_id/1169106. (In Russ.).
