CC BY
53
Права человека в евразийском пространстве
Проскурина Д.С., Хохлова М.И., Сафин Н.И.
СМЕРТОНОСНЫЕ АВТОНОМНЫЕ СИСТЕМЫ ВООРУЖЕНИЙ: БУДУЩЕЕ ВОЕННОЙ ИНДУСТРИИ ИЛИ УГРОЗА ПАДЕНИЯ МЕЖДУНАРОДНОГО ГУМАНИТАРНОГО ПРАВА?
Цель: Рассмотрение актуальности норм международного гуманитарного права в контексте вызовов, которые возникают при создании смертоносных автоматизированных систем (САС). Исследование подходов к пониманию САС и возможных проблем, возникающих в сущностном, этическом и регулятивном аспектах исследования.
Методология: В процессе исследования были использованы сравнительно-правовой, формально-юридический методы, а также анализ и синтез.
Результаты: На основании проведенного исследования авторы пришли к выводу о том, что экспериментировать с возможностями САС третьего поколения в целях их потенциального регулирования - рискованный и малообдуманный шаг. Авторы полагают, что наиболее релевантным решением будет урегулирование САС методом прямого полного и императивного запрета, аналогичного тому, что на данный момент существует в отношении производства и применения химического оружия.
Новизна/оригинальность/ценность: В данный момент военные технологии развиваются стремительным образом, по всему миру ученые-юристы задают все больше вопросов по поводу правового регулирования искусственного интеллекта и не находят на них ответов. Потенциальному правовому регулированию такого рода систем применительно к военным действиям, где любая ошибка «мыслящей» машины может стоить человеческой жизни, необходимо уделить как можно больше внимания.
Ключевые слова: смертоносные автономные системы, международное гуманитарное право, искусственный интеллект, роботы-убийцы, военные действия, ответственность.
Proskurina D.S., Khokhlova M.I., Safin N.I.
LETHAL AUTONOMOUS WEAPONS SYSTEMS: THE FUTURE OF THE MILITARY INDUSTRY OR THE THREAT OF THE FALL OF INTERNATIONAL HUMANITARIAN LAW?
Purpose: To examine the relevance of international humanitarian law in the context of the challenges that arise in the creation of deadly automated systems (SAS). Investigation of approaches to understanding ASC and possible problems arising in the essential, ethical and regulatory aspects of research.
Methodology: Comparative legal, formal legal methods, as well as analysis and synthesis were used in the research process.
Results: On the basis of the conducted research, the authors came to the conclusion that experimenting with the capabilities of the third generation CAS in order to potentially regulate them is a risky and little thought-out step. The authors believe that the most relevant solution would be to settle the SAS by a direct, complete and mandatory ban, similar to what currently exists with regard to the production and use of chemical weapons.
Novelty/originality/value: At the moment, military technologies are developing rapidly, all over the world, legal scholars ask more and more questions about the legal regulation of artificial intelligence and do not find answers to them. The potential legal regulation of such systems in relation to military operations, where any mistake of the «thinking» machine can cost human life, needs to be given as much attention as possible.
Keywords: lethal autonomous systems, international humanitarian law, artificial intelligence, killer robots, military action, responsibility.
«Необходимо заняться этой проблемой прежде, чем сама проблема займется человечеством», - поставим этот постулат во главу угла, ведь его неоспоримость в данном исследовании является абсолютной и бесспорной. Действительно, стремление научно-технического прогресса к развитию и плавающая стабильность во внешнеполитических отношениях развитых стран приводят мировое общество к некому состязательному процессу по созданию все более совершенных боевых орудий. Пиком данного процесса стало появление проектов полностью автономных боевых роботов и, безусловно, вопросов, напрямую связанных с сочетанием международного права
(в частности МГП) и существования такого рода технологий на поле боя. Несмотря на относительную новизну, данный вопрос уже является дискуссионным. В связи с реализацией Конвенции 1980 г. о запрещении или ограничении применения конкретных видов обычного оружия, которые могут считаться наносящими чрезмерные повреждения или имеющими неизбирательное действие, с 2014 г. обсуждается перспектива регулирования использования САС. Мы рассмотрим данный вопрос с точки зрения трех выделенных нами аспектов: сущностного, этического и регулятивного.
Сущностная проблематика
Наиболее часто в отношении подобного рода систем специалисты употребляют такие термины, как смертоносные автономные системы (САС), боевые автономные роботизированные системы (БАРС) или же робототехнические комплексы (РТК). Однако в данный момент перед нами не стоит вопрос высокопарной терминологии, поэтому остановим свой выбор на первом понятийном конструкте - САС.
В первую очередь для нас важно определить, чем являются рассматриваемые устройства по своему функционалу в настоящее время и во что их планируется превратить в ближайшей перспективе.
В самом простом понимании под автономным оружием можно подразумевать любую боевую систему, которая в той или иной степени работает без человеческого вмешательства - в воздухе, на море или на земле.
Интересно, что, с точки зрения Международного Комитета Красного Креста (МККК) - организации, которая стоит у истоков защиты МГП, любое оружие может быть смертоносным, поэтому МККК предпочитает употреблять термин «автономное / автоматическое оружие» без упоминания его смертоносных свойств. Однако в контексте данного исследования мы не можем согласиться с таким подходом и не принимать во внимание именно «смертоносность» автономного оружия, ведь в этом качестве, по нашему мнению, в большей степени кроется проблематика данного исследования. Ни для кого не будет открытием тот факт, что роботы в военном деле могут использоваться в самых разных целях, в том числе в качестве транспорта и т. д. Нас же интересуют именно возможность применения ими силы и необратимость последствий ее применения.
Представляется необходимым определять САС как оружие, которое способно самостоятельно обнаружить, идентифицировать и поразить цель. Таким образом, в центре внимания находятся так называемые критические функции оружия: определение, отслеживание, выбор и поражение цели [1; 14].
Почему же данная проблема так актуальна сейчас? Ведь беспилотная авиация применялась и в первую, и во вторую мировые войны, а в послевоенный период на вооружении армий мира появилось множество боевых автономных систем в самых разных сферах (в частности ПВО, охрана границ). Дело в том, что тогда вопрос об утрате человеческого контроля над применением силы и о возможных последствиях не стоял.
На данный же момент вопрос о степени автономности САС является одним из основных разногласий в данной области.
Российские военные эксперты создали классификацию, в соответствии с которой САС подразделяются на следующие виды:
- боевые роботы 1-го поколения с программным и дистанционным управлением, способные функционировать только в организованной среде (например, боевые беспилотные летательные аппараты, которые полностью управляются человеком с земли);
- боевые роботы 2-го поколения - адаптивные, имеющие своего рода «органы чувств» и способные функционировать в заранее неизвестных условиях, т. е. приспосабливаться к изменениям обстановки (частично управляются человеком при взлете, заправке и загрузке боеприпасов и иной необходимости, допускают человеческое вмешательство);
- боевые роботы 3-го поколения - интеллектуальные, имеют систему управления с элементами искусственного интеллекта (созданы пока лишь в виде лабораторных макетов) [1; 13; 14].
Естественно, можно тешить себя иллюзиями, живя в мире, где боевые роботы 3-го поколения -лишь плод смешливой научной мысли, однако существуют факты, которые вынуждают к вернуться к суровой реальности. Несмотря на то, что полностью автономные боевые роботы пока не являются полноценными участниками военных действий, прототипы такого вооружения давно разработаны. Миротворческая общественная организация Pax (Мир) [2] указывает на несколько реально существующих моделей оружия, способных работать на земле, под водой и в воздухе в автономном режиме без прямого управления человеком:
- наземный стационарный робот SGR-A1, оснащен гранатометом и автоматом, разработан южнокорейской компанией для контроля границы с Северной Кореей. Благодаря инфракрасным датчикам и программе распознавания движений робот может отслеживать злоумышленников и открыть по ним огонь как в автоматическом, так и в управляемом режиме [11];
- израильская разработка «Гарпия» - ракета, выпускаемая с наземного транспортного средства. Автоматически обнаруживает, атакует и уничтожает вражеские радиолокационные излучатели. Может проводить в воздухе до 9 часов в поисках цели;
- беспилотный стелс самолет «Нерон», разрабатываемый Францией, может находиться в авто-
номном режиме более 3 часов, предназначен для обнаружения и разведки наземных целей. Способен автоматически атаковать, самостоятельно устанавливая цели.
Позиция МККК по рассматриваемой проблеме неоднозначна. Эксперты не призывают полностью запретить развитие таких технологий ввиду отсутствия полной и достоверной информации об их возможностях [3]. Им видится, что создание такого вида вооружения внесет изменения в саму парадигму ведения военных действий и применения военных технологий, от чего нельзя отказываться на стадии прогнозирования. Однако мы полагаем, что ждать исчерпывающей информации о возможностях таких автономных интеллектуальных роботов может оказаться чрезмерно рискованным решением, ведь если речь идет о чем-либо неподвластном воле человека, то исследование возможностей такой системы может привести к катастрофическим последствиям для человечества. Данную позицию также поддерживает эксперт ООН К. Хайнс [4], который в своем докладе проводит мысль о введении моратория на «производство, сборку, передачу, приобретение, внедрение и использование автономных боевых роботов» до принятия специального механизма правового регулирования на международном уровне [5].
Проблема степени «интеллектуальности» смертоносной системы - этический аспект
Одной из ведущих проблем данной темы является вопрос о соблюдении САС уже устоявшихся норм международного права, в частности МГП.
Для соблюдения устоявшихся норм и принципов МГП необходимо, чтобы машины могли адекватно «оценивать» обстановку, стремительно реагировать на ее изменения и действовать, исходя из специфики обстоятельств. Международный Суд ООН вывел фундаментальный универсальный принцип, применимый для всех видов вооружений: воля государства в использовании вооружений не безгранична. На этом принципе Суд основывает два правила: 1) правило проведения различия - заключается в том, что гражданские лица не должны стать объектом нападения, а оружие, которое не в состоянии отличить ком-батанта от некомбатанта, должно быть под запретом; 2) правило пропорциональности - запрету должно быть подвергнуто оружие, вызывающее ненужное страдание и наносящее больший урон, чем того требует достижение военных целей [6].
Будет ли способен интеллект робота провести должное различие между комбатантом и неком-батантом?
Казалось бы, основной постулат ясен: оружие, обладающее неизбирательным действием, согласно международному праву, запрещено. Следовательно, если САС квалифицировать в качестве такового, то их использование подпадает под данный запрет.
Но проблема не является столь односложной. Потенциально допустим вариант, при котором робота можно технически обучить способности отличать гражданское лицо от комбатанта по внешним признакам, но остается вопрос о возможности запрограммировать распознавание более сложных случаев, например когда комбатант сложил оружие и не способен принимать участие в военных действиях либо когда гражданское лицо принимает непосредственное участие в военных действиях.
Каким образом автоматический алгоритм сможет отличить мирного гражданина от военного, в случае если первый держит в руках оружие или используется в качестве живого щита, будучи заложником?
Для нас очевидно, что наличие интеллектуального фактора у неодушевлённой машины даже в самом идеальном его проявлении не сможет вобрать в себя эмоциональный аспект человеческой личности.
Проблема программирования состоит в том, что машину нужно обучить не способности видеть знаки отличия и эмблемы, а способности оценить поведение и поступки человека в конкретной ситуации.
На данный момент было предложено два весьма сомнительных пути преодоления данной проблемы.
Первый - написание алгоритма, согласно которому в случае возникновения у машины «сомнения» сила применяться не будет. Однако в этом случае ставится под сомнение концепция третьего поколения САС, способных действовать самостоятельно на основании исключительно собственных убеждений и понимания происходящего.
Второй - боевые автономные системы могли бы пройти тест на проведение различия. Так, в алгоритме робота будет записана программа, позволяющая поражать цель только после выстрела или атаки потенциального противника [7]. На наш взгляд, такой подход также сомнителен, ведь в этом случае эффективность боевого робота будет фактически обречена и нивелирована ожиданиями атаки противоборствующей стороны.
Таким образом, некоторые инженеры предлагают оставить оператора в контуре управления
САС, чтобы в случае необходимости он смог их деактивировать либо преобразовывать дальнейшие задачи на расстоянии. Думается, что данное решение является наиболее релевантным, несмотря на фактическое допущение того, что САС второго поколения могут быть более эффективны и применимы, нежели САС третьего поколения, к которым с каждым годом появляется все больше вопросов. Следующий из которых - вопрос ответственности.
Вопрос ответственности - регулятивный аспект
Кто будет нести ответственность в случае совершения неправомерных действий САС? Полагаем, что при разработке механизма привлечения к ответственности за действия САС следует иметь в виду, что контроль человека может быть установлен на различных стадиях: при создании и тестировании системы; в процессе принятия командующим или оператором решения об активации системы; в процессе операции, направленной на выбор и нападение на цель [12].
Исходя из этого, в юридической литературе называется несколько возможных субъектов преступлений: инженеры, участвующие в их разработке; программисты, закладывающие определенный алгоритм действий; изготовитель, осуществляющий сборку роботов; оператор, который привел оружие в действие, либо же командующий, который отдал приказ о приведении в действие [8]. Однако нам представляется весьма ироничным факт, что, ведя возвышенные дискуссии о «самообучаемых машинах», «мыслящих роботах», ученая мысль так и не смогла придумать регулятивный механизм несения ответственности непосредственно тем «актором», чья вина неоспорима, а причинно-следственная связь между действием и последствиями - пряма. Разрабатывать проекты регулирования и привлечения к ответственности лиц, непосредственно связанных с созданием такого рода «акторов», представляется нам противоречивым в контексте прогнозируемых умений САС. Нам видится, что в описываемом исследовании проблематика представляет собой некий груз на одной из чаш весов всем известной Фемиды, а амбиции стран, стремящихся к разработке и применению САС 3-го поколения, - противовес данному грузу. Рассуждая в таком ключе, мы считаем, что на данный момент нет решения лучшего, чем запрет создания и использования САС (в концепции их 3-го поколения) так же, как сегодня запрещено производство и применение химического оружия [9].
Однажды уступив контроль над решением,
кому жить, а кому умирать, неодушевленной машине, человек может навсегда попрощаться с мирным небом над головой. Машина не способна осознать ни ценность человеческой жизни, ни значимость ее потери [10].
Пристатейный библиографический список
1. Козюлин В.Б., Ефимов А.Р. Новый Бонд - машина с лицензией на убийство // Индекс безопасности. 2016. № 1. С. 37-60.
2. Do killer robots exist? [Электронный ресурс]. URL: https://www.paxforpeace.nl/media/files/pax-booklet-killer-robots-what-are-they-and-what-are-the-concerns.pdf.
3. Автономные системы вооружений: серьезные последствия для будущего войны // Сайт МККК. 2016. 6 мая [Электронный ресурс]. URL: https://www.icrc.org/ ru/document/avtonomnye-sistemyvooruzheniy-cereznye-posledstviya-dlya-budushchego-voyny.
4. Report of the Special Rapporteur on extrajudicial, summary or arbitrary executions, A/HRC/23/47 [Электронный ресурс]. URL: https://www.ohchr.org/Documents/ HRBodies/HRCouncil/RegularSession/Session23/A-HRC-23-47_en.pdf.
5. Поволоцкий Г. Автономные боевые роботы -будет ли новая гонка вооружений? // Международная жизнь. 2015. 19 августа [Электронный ресурс]. URL: https://interaffairs.ru/news/show/13621.
6. Консультативное заключение Международного Суда ООН от 8 июля 1996 г. по вопросу о законности угрозы ядерным оружием или его применения // Краткое изложение решений, консультативных заключений и постановлений Международного Суда. 1992-1996. Нью-Йорк, 1998 [Электронный ресурс]. URL: https://www.icj-cij.org/files/summaries/summaries-1992-1996-ru.pdf.
7. Искусственный интеллект превзошел военных пилотов. 29.06.2016 [Электронный ресурс]. URL: https:// nplus1.ru/news/2016/06/29/Daisy-Bell.
8. Making the Case: The Dangers of Killer Robots and the Need for a Preemptive Ban // Human Rights Watch, International Human Rights Clinic. 2016. 9 Dec. [Электронный ресурс]. URL: https://www.hrw. org/report/2016/12/09/making-case/dangers-killer-robots-and-need-preemptiveban.
9. Конвенция о запрещении разработки, производства, накопления и применения химического оружия и о его уничтожении (принята 13 января 1993 г.).
10. Сычев В. Кто-то должен воевать // N+1 [Электронный ресурс]. URL: https://nplus1.ru/material/2018/09/05/ war-robots-laws.
11. Петрова Д.А., Гайворонская Я.В., Мамычев А.Ю. Смертоносные автономные системы: этические, юридические, политические проблемы и перспективы их решения // Территория новых возможностей. Вестник Владивостокского государственного университета экономики и сервиса. 2019. Т. 11. № 4. С. 33-41.
12. Скуратова А.Ю., Королькова Е.Е. Смертоносные автономные системы вооружений: проблемы международно-правового регулирования // Российский юридический журнал. 2019. № 1 (124). С. 22-30.
13. Макаренко С.И. Робототехнические комплексы
военного назначения - современное состояние и перспективы развития // Системы управления, связи и безопасности. 2016. № 2. С. 73-132.
14. Автономные системы вооружений: решения об убийстве или уничтожении целей - ответственность людей // Сайт МККК. 2016. 11 апреля [Электронный ресурс]. URL: https://www.icrc.org/ru/document/ avtonomnye-sistemy-vooruzheniy-resheniya-ob-ubiystve-iliunichtozhenii-celey-otvetstvennost.
References (transliterated)
1. Kozyulin V.B., Efimov A.R. Novy"j Bond - mashina s licenziej na ubijstvo // Indeks bezopasnosti. 2016. № 1. S. 37-60.
2. Do killer robots exist? [E'lektronny'j resurs]. URL: https://www.paxforpeace.nl/media/files/pax-booklet-kill-er-robots-what-are-they-and-what-are-the-concerns.pdf.
3. Avtonomny"e sistemy" vooruzhenij: ser"ezny"e po-sledstviya dlya budushhego vojny" // Sajt MKKK. 2016. 6 maya [E'lektronny'j resurs]. URL: https://www.icrc.org/ ru/document/avtonomnye-sistemyvooruzheniy-cereznye-posledstviya-dlya-budushchego-voyny.
4. Report of the Special Rapporteur on ex-trajudicial, summary or arbitrary executions, A/ HRC/23/47 [E'lektronny'j resurs]. URL: https://www. ohchr.org/Documents/HRBodies/HRCouncil/RegularSes-sion/Session23/A-HRC-23-47_en.pdf.
5. Povoloczkij G. Avtonomny"e boevy"e roboty" - bu-det li novaya gonka vooruzhenij? // Mezhdunarodnaya zhizn". 2015. 19 avgusta [E'lektronny'j resurs]. URL: https://interaffairs.ru/news/show/13621.
6. Konsuktativnoe zaklyuchenie Mezhdunarodnogo Suda OON ot 8 iyulya 1996 g. po voprosu o zakonnosti ugrozy" yaderny"m oruzhiem ili ego primeneniya // Krat-koe izlozhenie reshenij, konsuktativny'x zaklyuchenij i postanovlenij Mezhdunarodnogo Suda. 1992-1996. N"yu-
Jork, 1998 [E'lektronny'j resurs]. URL: https://www.iq-d]. org/files/summaries/summaries-1992-1996-ru.pdf.
7. Iskusstvenny'j intellekt prevzoshel voenny'x pilo-tov. 29.06.2016 [E'lektronny'j resurs]. URL: https://nplus1. ru/news/2016/06/29/Daisy-Bell.
8. Making the Case: The Dangers of Killer Robots and the Need for a Preemptive Ban // Human Rights Watch, International Human Rights Clinic. 2016. 9 Dec. [E'lektronny'j resurs]. URL: https://www.hrw.org/ report/2016/12/09/making-case/dangers-killer-robots-and-need-preemptiveban.
9. Konvenciya o zapreshhenii razrabotki, proizvodst-va, nakopleniya i primeneniya ximicheskogo oruzhiya i o ego unichtozhenii (prinyata 13 yanvarya 1993 g.).
10. Sy'chev V. Kto-to dolzhen voevat" // N+1 [E'lektronny'j resurs]. URL: https://nplus1.ru/mate-rial/2018/09/05/war-robots-laws.
11. Petrova D.A., Gajvoronskaya Ya.V., Mamy'chev A.Yu. Smertonosny'e avtonomny'e sistemy": e'ticheskie, yuridicheskie, politicheskie problemy" i perspektivy" ix resheniya // Territoriya novy'x vozmozhnostej. Vest-nik Vladivostokskogo gosudarstvennogo universiteta e'konomiki i servisa. 2019. T. 11. № 4. S. 33-41.
12. Skuratova A.Yu., Korokkova E.E. Smertonosny'e avtonomny'e sistemy" vooruzhenij: problemy" mezh-dunarodno-pravovogo regulirovaniya // Rossijskij yuridicheskij zhurnal. 2019. № 1 (124). S. 22-30.
13. Makarenko S.I. Robototexnicheskie kompleksy" voennogo naznacheniya - sovremennoe sostoyanie i per-spektivy" razvitiya // Sistemy" upravleniya, svyazi i bezopasnosti. 2016. № 2. S. 73-132.
14. Avtonomny"e sistemy" vooruzhenij: resheniya ob ubijstve ili unichtozhenii celej - otvetstvennost" lyudej // Sajt MKKK. 2016. 11 aprelya [E"lektronny"j resurs]. URL: https://www.icrc.org/ru/document/avtonomnye-sistemy-vooruzheniy-resheniya-ob-ubiystve-iliunichtozhenii-ce-ley-otvetstvennost.
ЮРИДИЧЕСКАЯ ФИРМА «РУССКИЙ ДОМ»
Русский дом» является юридической и имеет богатый опыт оказания юридических услуг в России и в Азии. офисах «Русского дома», расположенных в основных финансовых центрах РФ, Европы и Азии, работает свыше 100 юристов. Офис фирмы «Русский дом» был открыт в Москве в 2005 г. В московском офисе работает 15 юристов, в том числе 4 партнера, 2 из которых являются гражданами Российской Федерации. Помимо российских специалистов в московском офисе работают юристы из Италии, Люксембурга, Швейцарии, Китайской народной республики, Японии, Южной Кореи, Саудовской Аравии, ОАЭ. Специалисты московского офиса имеют уникальный опыт работы во всех сферах финансового, корпоративного, административного, налогового и международного частного права России, Италии, Люксембурга, КНР, Южной Кореи, Японии. Уже более 10 лет в фирме существует специальный отдел, который занимается судебными и арбитражными разбирательствами. Одними из основных достоинств «Русского дома» являются наличие богатого опыта заключения коммерческих сделок в Российской Федерации и глубокое понимание российской правовой системы, которые дополняются обширным международным опытом фирмы. «Русский дом» является одной из немногих юридических фирм, которая предоставляет весь комплекс юридических услуг своим клиентам.
«Русский дом» имеет богатый опыт консультирования по любым вопросам всех отраслей права.
Юридическая фирма «РУССКИЙ ДОМ Международные Юристы» Тел. +7(495) 211 41 88 + 7 903 109 71 50 [email protected], www.rhlawi.ru, www.rhlawi.com
