CC BY
116
ТЕОРИЯ ПРАВА
THEORIA LEX
Д. Л. Кутейников*, О. А. Ижаев**, В. А. Лебедев***, С.С.Зенин****
РЕГУЛИРОВАНИЕ ВЗАИМОДЕЙСТВИЯ ЧЕЛОВЕКА С АВТОНОМНЫМИ ТЕХНИЧЕСКИМИ СРЕДСТВАМИ: ДИСКУССИЯ О ПРАВОВЫХ РЕЖИМАХ1
Аннотация. Статья посвящена изучению правовых подходов к регулированию общественных отношений, связанных с взаимодействием человека с техническими средствами (физическими и виртуальными сущностями), способными принимать решения независимо от человека. Авторы исходят из того, что технические средства приобретают признак автономности лишь в том случае, когда находятся под управлением искусственной когнитивной системы (искусственного интеллекта).
1 Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 18-29-16193 «Теоретические основы построения правовых моделей взаимодействия человека с киберфизически-ми, кибербиологическими и искусственными когнитивными системами».
© Кутейников Д. Л., Ижаев О. А., Лебедев В. А., Зенин С. С., 2019
* Кутейников Дмитрий Леонидович, кандидат юридических наук, старший преподаватель кафедры конституционного и муниципального права Московского государственного юридического университета имени О.Е. Кутафина (МГЮА) kuteynikov@me.com
125993, Россия, г. Москва, ул. Садовая-Кудринская, д. 9
** Ижаев Осман Аликович, кандидат юридических наук, консультант юридического отдела Московской городской избирательной комиссии izhaev.osman@gmail.com
125009, Россия, г. Москва, ул. Моховая, д. 11, стр. 8
*** Лебедев Валериан Алексеевич, доктор юридических наук, профессор, профессор кафедры конституционного и муниципального права Московского государственного юридического университета имени О.Е. Кутафина (МГЮА) lebedev_va@bk.ru
125993, Россия, г. Москва, ул. Садовая-Кудринская, д. 9
**** Зенин Сергей Сергеевич, кандидат юридических наук, директор Научно-исследовательского института, доцент кафедры конституционного и муниципального права Московского государственного юридического университета имени О.Е. Кутафина (МГЮА), ведущий научный сотрудник кафедры теории государства и права, конституционного и административного права Южно-Уральского государственного университета (национального исследовательского университета) zeninsergei@mail.ru
125993, Россия, г. Москва, ул. Садовая-Кудринская, д. 9
ТЕОРИЯ ПРАВА THEORIA LEX
Показано, что автономные технические средства качественно отличаются от традиционных объектов права (материальной и нематериальной природы) вследствие наличия способности совершать независимо от воли человека юридически значимые действия. Выдвигается тезис о том, что взаимодействие человека с техническими средствами следует рассматривать через следующие способы: взаимосвязь (действия объекта находятся под контролем человека), сосуществование (действия объекта выходят за рамки воли человека) и слияние (действия объекта находятся под контролем человека, но сам объект имплантирован в человека и является его частью).
Делается вывод о том, что в настоящее время правовое регулирование взаимодействия человека с автономными техническими средствами разрабатывается в зависимости от сферы их применения и вида технологий. Авторами предлагается альтернативный подход, заключающийся в регулировании таких общественных отношений сквозь призму правовых моделей, коррелирующих со способами взаимодействия человека с техническими средствами (взаимосвязь, сосуществование и слияние).
Такой подход позволил выдвинуть и обосновать тезис о том, что для создания устойчивого и сбалансированного регулирования целесообразна разработка правовых режимов взаимосвязи, сосуществования и слияния, предусматривающих особые способы регламентации правоотношений и использование специального набора юридических средств.
Ключевые слова: искусственный интеллект, киберфизическая система, робот, беспилотное транспортное средство, дрон, правовые режимы, цифровая экономика, цифровая трансформация.
001: 10.17803/1729-5920.2019.154.9.085-095
Цифровая трансформация различных сфер жизни общества в последнее десятилетие стала центром внимания общественности и государственных институтов. Человечество переживает период массового внедрения в практику накопленных знаний. В частности, Кай Фу Ли характеризует современность как «эпоху воплощений», которая предполагает создание конкретных продуктов на основе результатов исследований предыдущих десятилетий. В истории такие периоды принято называть технологическими (промышленными) революциями, в ходе которых в результате постепенного внедрения новых технических средств происходит трансформация сложившихся в обществе отношений.
Так, в ходе первой технологической революции (1760—1830 гг.), которая началась в Англии, механические машины заняли важное место в производственном процессе. Технические средства применялись в качестве дополнения к способностям человека, что позволило повысить производительность труда. Именно в это время сформировалось близкое к современному понимание технических средств в виде машин и иных механизмов. Следующая технологическая революция (1870—1930 гг.) связана
с повсеместным внедрением и совершенствованием технологий первой. Техническое средство и рабочий воспринимались как неразрывная производственная единица. Третья технологическая революция (вторая половина XX в.) привела к становлению информационного общества. Цифровые технологии позволили мгновенно производить, обрабатывать и передавать информацию. Использование таких технических средств, как цифровые устройства, программное обеспечение и коммуникационные сети (например, Интернет), позволило частично автоматизировать отдельные процессы. Однако корректное функционирование технических средств все еще требовало активного участия человека.
По мнению Э. Макафи и Э. Бриньолфсона, движущими силами современной четвертой технологической революции являются пять факторов: данные, алгоритмы, сети, облачные технологии и экспоненциальное улучшение аппаратного обеспечения2. Различные комбинации указанных факторов обусловили возникновение и массовое внедрение в общественную жизнь киберфизических и искусственных когнитивных систем (искусственного интеллекта). Эти сущности без преувеличения можно назвать
2 См.: Brynjolfsson, E., McAfee A. Machine, Platform, Crowd: Harnessing Our Digital Future. 2017. New York: W. W. Norton.
основой четвертой технологической революции. При этом под киберфизической системой мы понимаем систему, которая включает три взаимодействующих между собой элемента: физические объекты, программное обеспечение и коммуникационные сети. Искусственную когнитивную систему (искусственный интеллект, ИИ) можно определить как компьютерный алгоритм, способный воспринимать окружающую среду, анализировать полученную из нее информацию и на этой основе принимать рациональные решения с разной степенью автономности. Начинают развиваться и кибербио-логические системы, которые предполагают взаимосвязь биологического элемента (в отличие от киберфизической системы), программного обеспечения и коммуникационных сетей.
Из вышеизложенного следует, что техническое средство будет обладать способностью совершать независимые от человека действия лишь при условии, что в него интегрирована искусственная когнитивная система. В то же время сам по себе ИИ может быть автономным, даже если не будет интегрирован в конкретный объект материального мира.
Таким образом, важной характеристикой четвертой технологической революции является автоматизация, то есть создание и массовое внедрение автономных технических средств.
В юриспруденции технические средства традиционно рассматриваются как предметы материального (недвижимые и движимые вещи) и нематериального (результаты интеллектуальной деятельности) мира и имеют статус объектов права. Что касается автономных технических средств, то они обладают способностью совершать независимые от человека действия, однако степень их автономности может существенно различаться. В зависимости от того, насколько степень этой автономности влияет на общественные отношения, мы предлагаем рассмотреть возможность выделения нескольких моделей взаимодействия человека с техническими средствами.
Правовая природа технического средства не меняется, если последнее решение принимает сам человек, даже при наличии у такого объекта некоторой степени автономности. Следует сказать, что с юридической точки зрения возникновение автономности у объектов права само по себе революционного значения не имеет, например, действия «робота-пылесоса» не влияют на общественные отношения и не влекут каких-либо правовых последствий. Та-
ким образом, модель взаимодействия человека с техническими средствами, действия которых либо находятся под его контролем, либо не имеют юридического значения, целесообразно назвать взаимосвязью.
Тем не менее технические средства потенциально могут обладать не только автономностью, но и одновременно являться участниками общественных отношений. Например, в отдельных странах беспилотные транспортные средства уже сейчас становятся участниками дорожного движения и самостоятельно осуществляют важные для человеческой жизни действия, несмотря на то что они по своей сути являются лишь сложными техническими средствами, управляемыми искусственной когнитивной системой, способной в непредсказуемых условиях самостоятельно выбирать одно из нескольких альтернативных решений. Делегирование всё большего числа задач подобным автономным техническим средствам, а также расширение границ дискреции со временем может создать в общественном сознании новый способ взаимодействия человека с такими техническими средствами, основанный на некоторой независимости.
Таким образом, если техническое средство будет автономно и сможет стать самостоятельным участником каких-либо общественных отношений, а также совершать юридически значимые действия, то такую модель взаимодействия потенциально следует определить как сосуществование.
Особенностью современного технологического развития также является и то, что технические средства не только окружают человека в цифровом и физическом мире, но и становятся его частью. Набирающие популярность операции по внедрению чипов, широкое распространение современных протезов и имплантов (которые потенциально тоже могут обладать ИИ) ставят человека в центр иного, принципиально нового способа взаимодействия с техническими средствами. В этом случае технические средства тотально подчинены воле человека. Соответственно, такую модель взаимодействия, которая возникает при объединении биологического субъекта (человека) с отдельными цифровыми и механическими элементами, следует определить как слияние.
Таким образом, технологическое развитие ставит перед юридической наукой ряд новых вызовов: 1) появляются автономные технические средства; 2) данные технические средства
LEX 1Р?Ж
ТЕОРИЯ ПРАВА THEORIA LEX
приобретают способность участвовать в общественных отношениях; 3) возникают новые способы взаимодействия человека с предметами материального и нематериального мира. Очевидно, возникает потребность в создании новых подходов к регулированию общественных отношений, в которых задействованы такие «умные» объекты.
Правовое и техническое регулирование данной сферы сейчас находится на начальном этапе. К настоящему времени государства предпринимают попытки регламентировать этот сектор в большей степени через принятие различных национальных стратегий. Так, более чем в 30 странах приняты национальные стратегии развития искусственного интеллекта и робототехники. Непосредственно правовое регулирование является фрагментарным, направленным на регламентацию отдельных технологий в конкретных сферах.
В частности, в Рекомендациях по регулированию робототехники, разработанных в рамках реализации европейского проекта «Робо-право» (Robolaw), предлагается регулировать общественные отношения в зависимости от конкретных сфер применения отдельных технологий. К примеру, использование роботов в здравоохранении, беспилотных автомобилей на дорогах общего пользования, роботизированных протезов и роботов по уходу за людьми. Рекомендации нашли свое отражение и в Резолюции Европарламента «Нормы гражданского права о робототехнике»3.
В других юрисдикциях, например в Германии и штате Калифорния США, приняты законы, регулирующие использование автономных транспортных средств на дорогах общего пользования4.
Отдельно стоит отметить национальную программу «Цифровая экономика Российской Федерации», в паспорте которой предусмотрено принятие федерального закона, регулирующего правоотношения в сфере киберфизических систем и в отдельных смежных сферах5. В рамках
реализации указанной программы разработан проект федерального закона «Об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации». Также в Государственную Думу ФС РФ внесен проект федерального закона «Об опытной эксплуатации инновационных транспортных средств и внесении изменений в отдельные законодательные акты Российской Федерации». Заявленной целью данного проекта является устранение законодательных барьеров и создание благоприятных правовых условий для опытной эксплуатации высокоавтоматизированных (инновационных) транспортных средств.
Можно сделать вывод о том, что представленные подходы к правовому регулированию в области автономных технических средств строятся на трех основных началах: 1) регулирование отдельных технологий (искусственный интеллект, киберфизические системы, большие данные, распределенные реестры и т.п.); 2) регулирование использования технологических продуктов (беспилотные транспортные средства, дроны и т.п.); 3) регулирование особенностей использования отдельных технологических решений в наиболее чувствительных сферах общественной жизни (медицина, образование, транспорт). Преимуществом такого подхода является возможность оперативного создания нормативной базы для проведения экспериментов и дальнейшего ввода конкретных видов автономных технических средств в эксплуатацию.
Вместе с тем исчерпывающая дифференциация отдельных технологий, в том числе с учетом их постоянного развития, представляется трудновыполнимой задачей. Программные или материальные продукты уже сейчас часто представляют собой интеграцию различных физических объектов и процессов, а также нескольких уровней программного обеспечения (иногда включая ИИ). Следовательно, использование различных правовых подходов в зависимости от сферы применения технологии
Civil law rules on robotics // European Parliament. Legislative Observatory. URL: https://oeil.secure. europarl.europa.eu/oeil/popups/ficheprocedure.do?lang=en&reference=2015/2103(INL) (дата обращения: 01.06.2019).
Eight Act amending the road Traffic Act // BMVI. URL: https://www.bmvi.de/SharedDocs/EN/Documents/
DG/eight-act-amending-the-road-traffic-act.pdf?_blob=publicationFile (дата обращения: 01.06.2019) ;
Autonomous vehicles // California Legislative Information. URL: https://leginfo.legislature.ca.gov/faces/ billTextClient.xhtml?bill_id=201520160AB2866 (дата обращения: 01.06.2019).
Паспорт национальной программы «Цифровая экономика Российской Федерации» // Правительство России. URL: http://government.ru/info/35568/ (дата обращения: 01.06.2019).
3
4
5
и ее конкретного вида/типа не позволит разработать стабильное и полноценное правовое регулирование.
На наш взгляд, альтернативным подходом является регулирование таких общественных отношений через призму моделей взаимодействия человека с техническими средствами. Каждая модель потребует разработки соответствующих правовых режимов, предполагающих особые способы регламентации правоотношений и использование специального набора юридических средств.
Модель взаимосвязи по своему смыслу полностью охватывается современным правовым режимом предметов материального (недвижимые и движимые вещи) и нематериального (результаты интеллектуальной деятельности) мира. В рамках данного режима техническое средство может обладать определенной степенью автономности, способностью к обучению и самообучению, однако финальное решение остается за человеком и происходит под его полным контролем. На сегодняшний день практически все автономные технические средства подпадают под данный правовой режим. Ярким примером могут служить транспортные средства 1—3-го уровня автономности, определенные стандартом беспилотных транспортных средств SAE Intemational6. К ним относятся как обычные автомобили с адаптивным круиз-контролем (1-й уровень), так и «почти автопилоты» (3-й уровень), все еще требующие активного участия человека в дорожном движении в случае возникновения сложной ситуации.
Для автономных технических средств, функционирующих в рамках этого правового режима, характерно отсутствие правосубъектности (они всегда объекты правоотношений), ответственность определяется в рамках современного правопорядка. Тем не менее при внесении
дополнений и изменений в отраслевое законодательство необходимо учитывать ряд особенностей.
1. Допуск в общественное пространство. Экспериментальное использование автономных технических средств должно осуществляться на основании специального разрешения компетентного органа. В России законопроектом «Об опытной эксплуатации инновационных транспортных средств и внесении изменений в отдельные законодательные акты Российской Федерации» предлагается наделить соответствующими полномочиями в отношении автономных транспортных средств Правительство РФ7. До сих пор находится в состоянии разработки и проект федерального закона «Об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации», которым предполагается возможность создания регуляторных «песочниц» на отдельных территориях в целях интеграции различных технологий. Однако выдача таких разрешений должна предусматривать равные и рациональные требования ко всем участникам общественных отношений.
2. Компенсация возможных негативных последствий. Производство и использование автономных технических средств (особенно экспериментальное) должно допускаться только после страхования ответственности. Например, закон Штата Калифорния США устанавливает соответствующий минимум в размере 5 млн долл.8 В отчете Европарламента содержится предложение о создании единого фонда для возмещения ущерба, а также призыв для страховой отрасли разрабатывать новые предложения и продукты, которые соответствовали бы достижениям в робототехнике9.
3. Особенности обработки персональных данных. Технические средства в ходе функцио-
SAE International Releases Updated Visual Chart for Its «Levels of Driving Automation» Standard for Self-
Driving Vehicles // SAE International. URL: https://www.sae.org/news/press-room/2018/12/sae-international-releases-updated-visual-chart-for-its-%E2%80%9Clevels-of-driving-automation%E2%80%9D-standard-for-self-driving-vehicles (дата обращения: 01.06.2019).
Законопроект № 710083-7 «Об опытной эксплуатации инновационных транспортных средств и внесении изменений в отдельные законодательные акты Российской Федерации» // Система обеспечения законодательной деятельности. URL: https://sozd.duma.gov.ru/bill/710083-7 (дата обращения: 01.06.2019). Amend Section 38750 of the Vehicle Code (Bill No. 2866) // California legislative information. URL: https:// leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=201520160AB2866 (дата обращения: 01.06.2019).
European Parliament resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)) // eur-lex. URL: https://eur-lex.europa.eu/legal-content/EN/ TXT/?uri=CELEX%3A52017IP0051 (дата обращения: 01.06.2019).
6
7
8
9
нирования собирают большие объемы информации как о своем владельце (пользователе), так и об окружающем мире. Законодательно необходимо предусмотреть порядок обработки таких данных, удаления и доступа к ним со стороны компетентных органов. Соответствующие положения, например, предусмотрены в гл. 63а правил дорожного движения Германии10. Общую защиту персональных данных при их обработке автономными техническими средствами устанавливает и GDPR11. Другой проблемой является установление порядка доступа разработчиков программного обеспечения к большим объемам персональных и деперсонализированных данных.
4. Прозрачность взаимодействия. Каждый человек должен иметь возможность понимать, с кем он взаимодействует, в каких случаях объекты материального мира действуют автономно (а также степень этой автономности). Например, расширение Google Duplex, которое позволяет голосовому ассистенту Google Assistant самостоятельно бронировать места в ресторанах с помощью телефонного звонка, уже работает в 43 штатах США (недавно добавились новые услуги). Таким образом, беспилотное транспортное средство необходимо оснащать соответствующими опознавательными знаками, продукты, имитирующие человеческие признаки, должны раскрывать информацию об этом хотя бы в наиболее чувствительных сферах общественной жизни. Уже упомянутый закон Штата Калифорния закрепил необходимость установки специального визуального индикатора внутри кабины, сигнализирующего о включении автономного режима.
Модель сосуществования предполагает разработку нового правового режима технических средств с высокой степенью автономности (физических, программных). В зависимости от уровня автономности такие технические средства можно потенциально разделить на несколько групп:
1. Технические средства, обладающие автономностью в принятии решений в рамках определенной сферы (размеченной территории или
конкретного правомочия (правомочий)). Такие технические средства могут участвовать в правоотношениях, однако не являются субъектами права в общем смысле. Примерами могут служить высокоавтоматизированные транспортные средства 4—5-го уровня автономности или, например, автономный вендинговый автомат. Ответственность за такие технические средства возлагается на традиционных субъектов (владельца, пользователя, производителя, оператора и т.п.) в зависимости от конкретной ситуации.
2. Технические средства, обладающие автономностью и потенциально способные принимать широкий спектр юридически значимых решений. Такие технические средства, в зависимости от избранной конкретным государством модели, могут быть признаны особыми цифровыми субъектами, юридическими лицами, агентами или партнерами, которых человек добровольно наделяет возможностью осуществлять юридически значимые действия от его имени. Абстрактными примерами могут служить автономные предприятия, роботы-управленцы, роботы-спутники. Несмотря на широкий объем правомочий, ответственность также возлагается на традиционных субъектов.
3. Технические средства, обладающие полной свободой воли (с определенными изъятиями из правоспособности, например политических прав). Такие технические средства становятся субъектами и обладают особым правовым статусом, близким к правовому статусу личности, могут защищать свои права. Тем не менее они все равно связаны с человеком, несут с ним солидарную ответственность.
Полноценное регулирование отношений, которые возникнут при создании и внедрении подобного рода продуктов потребует изменения широкого спектра правовых актов. Вектор такого регулирования во многом будет определяться социальными, политическими и экономическими факторами. В то же время, по нашему мнению, необходимо рассмотреть отдельные важные особенности данного режима, которые мы можем наблюдать в современном обществе.
10 Eight Act amending the Road Traffic Act // Federal Ministry of Transport and Digital Infrastructure. URL:
https://www.bmvi.de/SharedDocs/EN/Documents/DG/eight-act-amending-the-road-traffic-act.pdf?__
blob=publicationFile (дата обращения: 01.06.2019).
11 Regulation on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation) // eur-lex. URL: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=uriserv:0J.L_.2016.119.01.0001.01. ENG&toc=0J:L:2016:119:T0C (дата обращения: 01.06.2019).
1. Проблема правосубъектности автономных технических средств. Данная проблема имеет большую традицию исследования как в научной, так и в художественной литературе, кинематографе, компьютерных играх. Несмотря на обилие точек зрения, хотелось бы остановиться на нескольких современных правовых исследованиях. Так, Р. ван ден Ховен Ван Ген-дерен выделяет три способа наделения автономных технических средств субъективными чертами. Первый способ, который он называет «Чеширским Котом», заключается в том, что наделение чего-либо статусом субъекта зависит не от сущности данного объекта, а от общественного согласия. Второй способ предполагает, что правосубъектность возникает только у людей (то есть у биологических субъектов), а юридические лица обладают правосубъектностью только потому, что все равно их функционирование осуществляется теми же людьми. Третий способ связан с тем, что ключевым условием для правосубъектности является наличие рациональности, понимания ответственности. В этом случае у ИИ есть шанс приобрести необходимые качества и стать субъектом благодаря техническому развитию12. Т. Петшиковский предлагает ввести категорию «неличностная субъектность», которая позволит наделить техническое средство правами и обязанности, не уравнивая его статус с личностью13
2. Проблема «черного ящика». Суть данной проблемы заключается в том, что сложные алгоритмы, созданные по принципу работы человеческого мозга (нейронные сети), имеют возможность обучаться и самостоятельно принимать решения на основе введенных данных. Поэтому чем сложнее алгоритм, тем более проблематично (а иногда невозможно) с абсолютной точностью восстановить ход принятия им того или иного решения14. Таким образом, интеграция таких технических средств вызывает ряд правовых проблем, решение которых еще не выработано. Одной из попыток решения данных проблем является, например, законопроект «Об алгоритмической подотчетности»,
инициированный в Сенате США. Данным законопроектом предлагается ввести оценку воздействия автоматизированной системы принятия решений, процесса ее разработки, включая данные проектирования и обучения, на предмет воздействия на точность, справедливость, предвзятость, дискриминацию, конфиденциальность и безопасность.
3. Принятие машинами сложных с точки зрения морали решений. Степень доверия людей к автономным техническим средствам также будет сильно зависеть от того, насколько принимаемые ими решения будут соответствовать представлениям о морали в том или ином обществе. Так, в рамках проекта Moral machine15 исследователями Массачусетско-го технологического института был проведен онлайн-эксперимент, в котором приняли участие около 40 млн человек со всего мира. Участники должны были сделать моральный выбор за оказавшееся в аварийной ситуации беспилотное транспортное средство: сбить двух пожилых мужчин и одну пожилую женщину, переходящих дорогу на красный сигнал светофора, либо столкнуться с преградой, что приведет к смерти взрослых мужчины и женщины, а также мальчика, находящихся в машине. Результаты исследования показали, что из разных признаков (пол, возраст, пешеход/пассажир, социальный статус и т.д.), важных для принятия того или иного решения, абсолютный консенсус был достигнут по трем показателям: по числу жертв, жизнь человека ценнее жизни животных, молодые предпочтительнее пожилых. С юридической точки зрения интересно то, что для респондентов факт нарушения формального закона не вошел в перечень наиболее важных признаков для принятия морального выбора. Подобные сведения заставляют задуматься о том, насколько современное право адекватно отражает моральные предпочтения людей и какой подход (формальный или содержательный) необходимо применять при обучении (программировании) технических средств с повышенной степенью опасности16.
12 Do We Need New Legal Personhood in the Age of Robots and AI? / van den Hoven van Genderen R. // Robotics, AI and the Future of Law. ed. / Marcelo Corrales; Mark Fenwick; Nikolaus Forgo. Singapore : Springer Publishers, 2018. P. 54.
13 Pietrzykowski T. The Idea of Non-personal Subjects of Law // Kurki V., Pietrzykowski T. (eds) // Legal Personhood: Animals, Artificial Intelligence and the Unborn. Law and Philosophy Library. 2017. Vol. 119. Springer, Cham.
14 Castelvecchi D. Can we open the black box of AI? // Nature 538. 2016. Pp. 20—23.
15 Moralmachine. URL: http://moralmachine.mit.edu/ (дата обращения: 01.06.2019).
16 Awad E., Dsouza S., Kim R., Schultz J., Henrich J., Shariff A., Bonnefon J. F., Rahwan I. The Moral Machine experiment // Nature 562. 2018. Pp. 59—64.
LEX IPS»
4. Создание атмосферы доверия в сфере взаимодействия человека с автономными техническими средствами. Важнейшей задачей для такой атмосферы является свободный доступ к информации о технических средствах. Каждый человек должен иметь возможность ознакомления с существенными особенностями функционирования устройств, потенциально опасных для жизни и здоровья. Государство и частный сектор должны раскрывать эту информацию, а также предоставлять необходимые статистические данные. Отсюда вытекает также проблема объективности оценки предоставленных сведений.
Любопытной мерой для формирования более ясного представления о том, как работают технические средства, является возможность «поставить себя на место машины». Так, проект Moovellab17 позволяет человеку почувствовать себя беспилотным автомобилем. К человеку подключаются различные устройства, которые имитируют компьютерное зрение. Подобные проекты наглядно демонстрируют людям сложность технических устройств и специфичность понимания ими материального мира, что может помочь в формировании к ним осмысленного отношения.
5. Автономные технические средства с признаками человека. Наиболее сложной для решения является проблема взаимодействия человека с материальными и программными объектами, которым переданы характеристики человека или животного. Создание все более похожих на живые существа технических устройств, которые с раннего возраста будут окружать людей, неминуемо приведет к выстраиванию с ними прочной эмоциональной связи. Сохранение при этом за людьми полной совокупности имущественных прав на такие вещи, допуская жестокое обращение с ними или их свободное уничтожение, может повлечь разрушающее воздействие на общество и обесценивание прав человека. Таким образом, для таких технических средств потребуются дополнительные меры по правовой охране, соразмерные передаваемым признакам и правовому статусу оригинального объекта.
Модель слияния предполагает разработку правового режима технических средств, внедряемых в организм человека (физических, программных). Особенностью данного режима является тотальная подконтрольность таких технических средств воли человека.
Данная форма взаимодействия человека с техническими средствами порождает большое количество сложнейших правовых и этических вызовов, решение которых невозможно без использования междисциплинарного подхода. На данном этапе исследования остановимся на нескольких важных особенностях правового режима.
1. Добровольность использования соответствующих технических средств. Данный вопрос затрагивает глубинную сущность прав человека, поскольку ставит их в противоречие техническому прогрессу и общественной пользе. Вместе с тем человек должен обладать правом отказа от использования любых технических средств без риска быть подвергнутым дискриминации. Данные проблемы затронуты в исследовании «Использование чиповых имплантатов для работников», проведенном по инициативе Европарламента18.
2. Информированность лица об особенностях функционирования данных технических средств. Данная проблема связана не только с большим количеством особенностей работы данных технических средств (конструктивные, программные), но и с психическим и физиологическим состоянием конкретного человека. Индивидуальные особенности каждого организма порождают также большие проблемы в определении моральной и юридической ответственности. В этой связи высказывается мнение о необходимости «сформулировать принцип информированности: нельзя возлагать моральную ответственность за некоторое событие в ходе работ по техномодификации, если носитель модификации не был уведомлен о соответствующих рисках до операции»19.
3. Сохранение контроля за работой данных технических средств. Внедрение в организм человека технических средств (в том числе с ИИ), а также взаимодействие с помощью нейроин-
17 Moovellab. URL: https://selfdriving.moovellab.com/ (дата обращения: 01.06.2019).
18 The Use of Chip Implants for Workers // The European Commission's science and knowledge service URL: http://www.europarl.europa.eu/RegData/etudes/STUD/2018/614209/IP0L_STU(2018)614209_EN.pdf (дата обращения: 01.06.2019).
19 Вараксин М. «Это не я, ваша честь, это мой мозговой имплантат» // Pravo.ru. URL: https://pravo.ru/ story/201983/ (дата обращения: 01.06.2019).
терфейса, безусловно окажет влияние на его органы, нервную систему, мозг, что может существенно повлиять на принятия им решений. Например, использование мозговых имплан-тов у отдельных людей приводит к изменению привычек, предпочтений, а в отдельных случаях и к неверному отражению объективной реальности20. Отдельной проблемой также является безопасность таких технических средств и защита от вмешательства в их работу третьих лиц.
Таким образом, массовое использование автономных технических средств ставит перед человеком необходимость переосмысления способов взаимодействия со своими творениями. Данные инновационные технические средства уже сейчас меняют общественное сознание, трансформируют существующие и создают новые общественные отношения. Игнорирование
данного факта в среднесрочной перспективе породит социальную дестабилизацию и технологическое отставание. Ответом на такие вызовы станет существенное развитие правового регулирования. На наш взгляд, регулирование таких общественных отношений необходимо осуществлять через призму моделей взаимодействия человека с техническими средствами. Каждая модель потребует разработки соответствующих правовых режимов, предполагающих особые способы регламентации правоотношений и использование специального набора юридических средств. Создание таких правовых режимов с учетом отраслевого регулирования упростит понимание прав и обязанностей всех сторон правоотношений и, как следствие, станет драйвером развития технологического сектора.
БИБЛИОГРАФИЯ
1. Вараксин М. «Это не я, ваша честь, это мой мозговой имплантат» // Pravo.ru. URL: https://pravo.ru/ story/201983/ (дата обращения: 01.06.2019).
2. Autonomous vehicles // California Legislative Information. URL: https://leginfo.legislature.ca.gov/faces/ billTextClient.xhtml?bill_id=201520160AB2866 (дата обращения: 01.06.2019).
3. Brynjolfsson E., McAfee A. Machine, Platform, Crowd: Harnessing Our Digital Future. — New York : W. W. Norton, 2017.
4. Civil law rules on robotics // European Parliament. Legislative Observatory. — URL: https://oeil.secure. europarl.europa.eu/oeil/popups/ficheprocedure.do?lang=en&reference=2015/2103(INL) (дата обращения: 01.06.2019).
5. Castelvecchi D. Can we open the black box of AI? // Nature. — 538. — 2016. — Pp. 20—23.
6. Do We Need New Legal Personhood in the Age of Robots and AI? / van den Hoven van Genderen, R. // Robotics, AI and the Future of Law / ed. Marcelo Corrales; Mark Fenwick; Nikolaus Forgo. — Singapore : Springer Publishers, 2018. — Pp. 15—50.
7. Awad E., Dsouza S., Kim R., Schultz J., Henrich J., Shariff A., Bonnefon J. F., Rahwan I. The Moral Machine experiment // Nature. — 2018. — 562. — Pp. 59—64.
8. Cabrera L., Carter-Johnson J. «It's not my fault, my brain implant made me do» // The Conversation. — URL:
https://theconversation.com/amp/its-not-my-fault-my-brain-implant-made-me-do-it-91040?__twitter_
impression=true (дата обращения: 01.06.2019).
9. Pietrzykowski T. The Idea of Non-personal Subjects of Law // Kurki V., Pietrzykowski T. (eds) // Legal Personhood: Animals, Artificial Intelligence and the Unborn. Law and Philosophy Library. — 2017. — Vol 119. — Springer, Cham.
10. SAE International Releases Updated Visual Chart for Its «Levels of Driving Automation» Standard for Self-Driving Vehicles // SAE International. — URL: https://www.sae.org/news/press-room/2018/12/sae-international-releases-updated-visual-chart-for-its-%E2%80%9Clevels-of-drivingautomation%E2%80%9D-standard-for-self-driving-vehicles (дата обращения: 01.06.2019).
11. The Use of Chip Implants for Workers // The European Commission's science and knowledge service. — URL: http://www.europarl.europa.eu/RegData/etudes/STUD/2018/614209/IP0L_STU(2018)614209_EN.pdf (дата обращения: 01.06.2019).
Материал поступил в редакцию 2 июня 2019 г.
20 Cabrera L., Carter-Johnson J. It's not my fault, my brain implant made me do // The Conversation. URL: https:// theconversation.com/amp/its-not-my-fault-my-brain-implant-made-me-do-it-91040?twitterimpression=true (дата обращения: 01.06.2019).
тЕоРИЯ пРАВА THEoRIA LEX
REGULATION OF INTERACTION OF AN INDIVIDUAL WITH AUTONOMOUS TECHNICAL DEVICES: LEGAL REGIMES DISCUSSION21
KUTEYNIKOV Dmitriy Leonidovich, PhD in Law, Senior Lecturer of the Department of Constitutional
and Municipal Law of the Kutafin Moscow State Law University (MSAL)
kuteynikov@me.com
125993, Russia, Moscow, ul. Sadovaya-Kudrinskaya, d. 9
IZHAEV Osman Alikovich, PhD in Law, Consultant of the Legal Department of the Moscow City Election Commission
izhaev.osman@gmail.com
125009, Russia, Moscow, ul. Mokhovaya, d. 11, P. 8
LEBEDEV Valerian Alekseevich, Doctor of Law, Professor, Professor of the Department of Constitutional
and Municipal Law of the Kutafin Moscow State Law University (MSAL)
lebedev_va@bk.ru
125993, Russia, Moscow, ul. Sadovaya-Kudrinskaya, d. 9
ZENIN Sergey Sergeevich, PhD in Law, Head of the Research Institute, Associate Professor of the Department of Constitutional and Municipal Law of the Kutafin Moscow State Law University (MSAL), Leading Researcher of the Department of Theory of the State and Law, Constitutional and Administrative Law of the South Ural State University (National Research University) zeninsergei@mail.ru
125993, Russia, Moscow, ul. Sadovaya-Kudrinskaya, d. 9
Abstract. The article is devoted to the study of legal approaches to the regulation of social relations associated with human interaction with technical devices (physical and virtual entities) capable of making decisions independently of the individual. The authors rely on the fact that technical means acquire the sign of autonomy only when they are under the control of an artificial cognitive system (artificial intelligence).
It is shown that autonomous technical devices differ qualitatively from traditional objects of law (of material and intangible nature) due to their ability to perform legally significant actions independently of the will of the human. The thesis is put forward that human interaction with technical means should be considered in the following ways: interconnection (the actions of the object are under human control), coexistence (the actions of the object go beyond the will of the human) and merging (the actions of the object are under human control, but the object is implanted in a human being and is a part of him).
It is concluded that at present legal regulation of human interaction with autonomous technical devicess is developing depending on the scope of their application and type of technologies. The authors propose an alternative approach representing the regulation of such social relations through the prism of legal models correlated with the ways of human interaction with technical devices (interconnection, coexistence and merging). This approach has made it possible to put forward and justify the idea that legal regimes for interconnection, coexistence and merging would be desirable in order to create sustainable and balanced regulation that provides for special ways of regulating legal relations and the use of a special set of legal means.
Keywords: artificial intelligence, cyberphysical system, robot, unmanned vehicle, drone, legal regimes, digital economy, digital transformation.
21 The study has been carried out with the financial support of RFBR within the framework of scientific project № 18-29-16193 "Theoretical bases of construction of legal models of interaction between the man and cyberphysical, cyberbiological and artificial cognitive systems".
REFERENCES
1. Varaksin M. «yto ne ya, vasha chest, eto moy mozgovoy implantat» x"It's not me, Your Honor, it's my brain implant'"bro Pravo.ru. URL: https://pravo.ru/story/201983/ (date of access: 10.06.2019). (In Russian)
2. Autonomous vehicles California Legislative Information. URL: https://leginfo.legislature.ca.gov/faces/ billTextClient.xhtml?bill_id=201520160AB2866 (date of access: 10.06.2019).
3. Brynjolfsson E., McAfee A. Machine, Platform, Crowd: Harnessing Our Digital Future. New York: W. W. Norton,
2017.
4. Civil law rules on robotics European Parliament. Legislative Observatory. URL: https://oeil.secure.europarl. europa.eu/oeil/popups/ficheprocedure.do?lang=en&reference=2015/2103(INL) (date of access: 10.06.2019).
5. Castelvecchi D. Can we open the black box of AI?. Nature. 538. 2016. Pp. 20—23.
6. van den Hoven van Genderen, R. Do We Need New Legal Personhood in the Age of Robots and AI? Robotics, AI and the Future of Law. Ed. by Marcelo Corrales; Mark Fenwick; Nikolaus Forgo. Singapore: Springer Publishers,
2018. pp. 15—50.
7. Awad E., Dsouza S., Kim R., Schultz J., Henrich J., Shariff A., Bonnefon J. F., Rahwan I. The Moral Machine experiment. Nature. 562. 2018. pp. 59—64.
8. Cabrera L., Carter-Johnson J. «It's not my fault, my brain implant made me do." The Conversation. URL:
https://theconversation.com/amp/its-not-my-fault-my-brain-implant-made-me-do-it-91040?__twitter_
impression=true (date of access: 10.06.2019).
9. Pietrzykowski T. The Idea of Non-personal Subjects of Law. Kurki V., Pietrzykowski T. (eds). Legal Personhood: Animals, Artificial Intelligence and the Unborn. Law and Philosophy Library. 2017. Vol 119. Springer, Cham.
10. SAE International Releases Updated Visual Chart for Its "Levels of Driving Automation" Standard for Self-Driving Vehicles. SAE International. https://www.sae.org/news/press-room/2018/12/sae-international-releases-updated-visual-chart-for-its-%E2%80%9Clevels-of-drivingautomation%E2%80%9D-standard-for-self-driving-vehicles (date of access: 10.06.2019).
11. The Use of Chip Implants for Workers. The European Commission's science and knowledge service. URL: http://www.europarl.europa.eu/RegData/etudes/STUD/2018/614209/IP0L_STU(2018)614209_EN.pdf (date of access: 10.06.2019).
