CC BY
35
2019.01.003. ВОЛЬКЕНШТЕЙН А. ЧТО ДИЛЕММА ВАГОНЕТКИ ДАЛА НАМ (И ЧТО ОНА ДАСТ В БУДУЩЕМ)? О НЕКОТОРЫХ НЕДАВНИХ ДЕБАТАХ ОБ ЭТИКЕ БЕСПИЛОТНЫ1Х АВТОМОБИЛЕЙ.
WOLKENSTEIN A. What has the Trolley Dilemma ever done for us (and what will it do in the future)? On some recent debates about the ethics of self-driving cars // Ethics and information technology. - 2018. -Vol. 20, N 3. - P. 163-173. - DOI: 10.1007/s10676-018-9456-6.
Ключевые слова: беспилотные автомобили; дилемма вагонетки; робоэтика; экспериментальная философия; мысленные эксперименты; психология морали.
Автор, сотрудник Института этики, истории и теории медицины в Мюнхене (Германия), рассматривает дилемму вагонетки (ДВ) в контексте дискуссии о развитии беспилотных автомобилей (БА). Особое внимание он обращает на данные, подтверждающие прогнозы, связанные с повышением безопасности дорожного движения при активном использовании БА. Однако в полной мере потенциал БА будет реализован лишь тогда, когда они будут преобладать на дорогах, а человеческий фактор будет полностью исключен.
Автор статьи подчеркивает, что остается еще множество технических вопросов, в дополнение к которым необходимо решать и вопросы этические. В недавнем отчете Федерального министерства транспорта и цифровой инфраструктуры Германии выделено 20 этических правил, а также ряд тем (конфиденциальность, защита данных, ответственность / обязательства), касающихся этики автономного вождения.
Основная тема этических дискуссий связана с программированием «алгоритмов краш-оптимизации»: как БА должен реагировать, когда у него есть выбор между столкновением с пятью людьми справа или, если он меняет свою траекторию, с одним человеком слева. Этот сценарий, более известный как «дилемма вагонетки», получил огромное внимание в моральной философии и психологии.
В контексте БА как сторонники, так и критики считают, что предполагаемый «правильный» ответ на ДВ должен реализоваться в поведении автомобиля либо путем программирования алгорит-
мов, либо путем правового регулирования. Идея ДВ была предложена Ф. Фут, которая стремилась показать различия в моральном мышлении. С тех пор ДВ использовалась для рассуждений о различиях между утилитарным и деонтологическим мышлением, действием и бездействием, нанесением и ненанесением вреда, положительными и отрицательными обязанностями (с. 164).
Существует много вариантов ДВ, но основная версия заключается в том, что потерявшая контроль вагонетка может убить пять человек, оказавшихся на ее пути, но если перевести стрелку и направить ее на другой путь, где стоит один человек, погибнет только один человек. Один из вариантов дилеммы - сценарий толстяка, где единственный способ сохранить пятерых - скинуть на рельсы толстяка. ДВ может рассматриваться как эксперимент первого лица (участнику предлагается принять решение) или как эксперимент третьего лица (когда участника просят судить о выборе другого).
Легко предположить, что БА будут сталкиваться с такими ситуациями. Автор предлагает представить следующую ситуацию. БА может попасть в аварию и, возможно, сбить ребенка, который переходит улицу. А отклонение автомобиля приведет к тому, что машина совершит наезд на пожилую даму на другой стороне улицы. Что должна делать машина? Еще один сценарий, который предлагает вообразить автор: БА с пятью пассажирами может столкнуться с грузовиком, потерявшим управление, но существует возможность избежать аварии ценой жизни одного человека, оказавшегося на его пути (или пассажира внутри машины). В каждом конкретном случае возникает множество вопросов. Кого спасать -взрослого или ребенка? Кого сохранять - двух (или трех, десяти...) взрослых или одного ребенка?
Чтобы ответить на эти вопросы, нужно рассмотреть два момента: 1) необходимо понять, как программировать БА заранее, в идеале, прежде чем они окажутся на дорогах и попадут в ДВ; 2) этические исследования ДВ помогают выяснить, какой этике должны следовать БА.
Автор обращает внимание на критические подходы, отрицающие актуальность ДВ для БА, и утверждает, что исследования ДВ (не только философские) на самом деле важны, но использовать их непосредственно для программирования БА или принятия
соответствующего законодательства невозможно. Он выделил три основных аргумента, согласно которым ДВ не должна приниматься во внимание для развития БА: 1) моральная логика ДВ не подходит для разработки автоматизированных этических решений в реальном мире; 2) ДВ не является реальным вопросом и может даже помешать сделать движение более безопасным; 3) БА не сталкиваются с ДВ.
Согласно первому аргументу, центральный компромисс ДВ -между тем, кто должен жить и кто должен умереть, - непригоден в реальном мире. «Ужасающая» логика выбора основана на равнодушии к смерти. По мнению автора, ситуации, в которых подобная логика применяется, реальны и на самом деле существует множество примеров, сходных с этим экспериментом. Например, вопрос распределения ресурсов здравоохранения. Следует ли предоставлять пожилым людям медицинское лечение, если те же деньги можно направить пациентам, которые имеют потенциал выздоровления? Практика сортировки раненных в чрезвычайных ситуациях также может вызывать моральные сомнения, поскольку принятые решения будут по определению неблагоприятными для некоторых людей, которые получили бы шанс выжить, если бы являлись единственными пациентами.
Обсуждая ситуацию, в которой необходимо принять трагическое решение, нужно отделяться от суждения о самом решении. Другими словами, не надо обвинять судью в том, что ему приходится принимать решение (оно согласуется с моральными ценностями), а скорее нужно сожалеть о том, что такие трагические ситуации существуют и что люди сталкиваются с ними. Более того, если есть шанс сократить количество таких событий, то можно утверждать, что необходимо сделать это: в результате будет уменьшаться общая степень вреда или безнравственности (если считать результаты решений трагических ситуаций как безнравственные). И именно это обещают сделать БА.
Другой вопрос - может ли трагический выбор быть автоматизирован? По мнению Р. Брендома, не может, поскольку программирование решения ДВ, заложенное в автомобили, обучает их быть безразличными к смерти. Трагичность выбора очевидна в любом случае, но имеет ли значение то, кем принято решение -человеком или БА? Есть ли разница в том, что автомобиль дейст-
вует безразлично (в частности, безразлично к смерти), тогда как человек - на основе эмоций? Но предполагает ли акт иное нормативное отношение в зависимости от психологической установки агента? Может показаться, что да. Если Альфред убивает Берту намеренно (намерения являются частью психологической установки человека) и арестован полицией, он получает приговор, отличающийся от приговора в том случае, если он убивает Берту случайно. Однако этот пример нельзя сравнить с ДВ и автономными автомобилями (с. 166). Вне зависимости от эмоций убийцы люди скорбят о смерти человека и не делают различий в трауре. Таким образом, запрет на автоматизацию представляется немотивированным.
В качестве возможного подхода к проблеме автоматизации решения автор предлагает опереться на принцип деловой этики, согласно которому деньги не меняют моральности действия. Дж. Бреннан и П.М. Яворски объясняют его следующим образом: «Если деяние х морально само по себе, оно остается таковым, даже если х сделано ради денег». Или, другими словами, «если вы можете сделать это бесплатно, тогда вы можете сделать это и за деньги»1. Если отдать почку кому-то, чтобы он мог выжить, нормально, то продавать почку тоже хорошо (там же).
Применительно к контексту БА можно, очевидно, ввести аналогичный принцип: если деяние морально приемлемо, когда оно совершается человеком, то оно также приемлемо, когда оно совершается роботом. Если, например, решение о сохранении пяти жизней (ценой одной) морально приемлемо в случае автомобилей с водителем, то программирование подобного решения в случае БА должно оцениваться также. В той же логике рассуждает автор о принятии кредитного решения на основе анализа данных, не делая моральных различий между человеком и роботом.
Проблема заключается в том, что до сих пор изучались результаты суждений людей в ситуациях с ДВ, а не фактическое поведение. Возможно, было бы лучше обратить внимание на данные о поведении и принять эти результаты как исходные для программирования и законотворчества. Но проблема еще и в том, что ДВ в
1 Brennan J., Jaworski P.M. Markets without limits. Moral virtues and commercial interests. - N.Y.: Routledge, 2016. - P. 10.
основном изучалась в контексте вагонеток, а не уличного движения, т.е. суждение со стороны не предполагает, что таким же будет поведение в реальной ситуации. Кроме того, Ж.-Ф. Боннефон с соавторами пришли к выводу, что люди предпочитают БА для выполнения утилитарного выбора, но не тогда, когда они сами вовлечены в ситуацию.
Некоторые исследования подтверждают, что существует взаимосвязь между суждением и поведением, однако речь не идет о ситуациях, схожих с ДВ, поэтому нужны дополнительные исследования. Эти исследования представляют интерес и с точки зрения «эффекта Кнобе», демонстрирующего связь интенциональности с хорошими или плохими последствиями действия, а мораль в таком понимании оказывается, по мнению автора, порогом интенцио-нальности (с. 167).
Второй аргумент состоит в том, что реальный этический вопрос БА заключается не в ДВ, а в том, как соотносятся выгоды и издержки от их появления на улицах. Автоматизированные транспортные средства имеют большой потенциал, заключающийся в том, чтобы уменьшить число дорожно-транспортных происшествий, но путь к этому будет включать ошибки, аварии и смертельные случаи.
Учитывая ряд серьезных вопросов, с которыми сопряжено движение БА, важно понять, как соотносятся осторожность и срочность в выводе этих систем на рынок? Некоторые исследователи видят явные преимущества появления БА на дорогах и считают, что не следует препятствовать этому, уделяя чрезмерное внимание этическим дилеммам. Автор реферируемой статьи не согласен с этой позицией и утверждает, что необходимость сбалансировать выгоды БА с потенциальными или фактическими затратами требует не только дополнительных данных, надежных моделей вождения и т.п., но и учета моральных дилемм, которые неизбежно возникнут на дорогах. При этом важно принимать во внимание множественность этических теорий и связанных с ними оценок и подходов.
Согласно третьему аргументу, БА не столкнутся с ДВ, поскольку участники экспериментов, будь то философские мысленные эксперименты или морально-психологические исследования, далеки от реальных ситуаций.
С. Найхольм и Дж. Смидс (8. КуЬо1ш, I. Smids) выделяют три причины, объясняющие эту точку зрения. Во-первых, ученые и программисты, которые пишут алгоритмы для БА, не находятся в положении субъекта в эксперименте, исследующем ДВ, и они не проводят мысленные эксперименты. Во-вторых, существует множество уровней ответственности, которые просто отсутствуют в типичном эксперименте ДВ. Реальный вопрос в этике БА заключается в том, кто несет ответственность и за что, тогда как эти вопросы не имеют значения в экспериментах ДВ. В-третьих, экспериментальное исследование ДВ работает с определенным знанием о событиях, которые должен оценить тот, кто принимает решение. Для участников экспериментов очевидно, что последует за переводом стрелки. Однако БА столкнется с решениями не в условиях определенности, а в условиях неопределенности или риска (с. 168).
Постановку вопроса можно изменить и попросить участников эксперимента оценить программный код автономной системы, которая сталкивается с ДВ. Понятно, что БА будет делать то, на что он запрограммирован. Если программисты думали о ДВ, то соответствующее решение будет запрограммировано в алгоритм автомобиля. Таким образом, ДВ существует в той мере, в какой возникает ситуация, имеющая признаки ДВ.
Имеет ли значение тот факт, что люди в ситуации ДВ принимают решения за доли секунды, в то время как решения БА основаны на большом количестве времени, потраченном на него инженерами и программистами? По мнению автора, нет, поскольку конкретное решение, принятое системой управления автомобиля или человеком, является результатом более глубокого процесса приобретения морального опыта. Вклад ДВ в программирование алгоритмов БА приобретает большее значение, когда принимается во внимание то, что автономные автомобили оснащены искусственным интеллектом и постепенно обучаются принимать морально компетентные решения.
Моральный опыт участников экспериментов ДВ показывает, что они используются не для определения «правильной» этики подсчета оценок, а скорее как способ понимания того, как работает моральная система, каковы механизмы морального рассуждения. Знания, получаемые в экспериментах, не могут дать окончательно-
го ответа, как БА должен реагировать, но будут основой для реализации в нем элементов моральной компетентности. Кроме того, люди будут наблюдать широкий спектр ситуаций с БА и это потребует исследований не только в области дальнейшего технического развития, но и в области моральной психологии. Но ясно одно: будут ДВ или по крайней мере ДВ-подобные ситуации, когда алгоритмы потребуют решений.
Автор обращает внимание на то, что понимание «общепринятой человеческой морали» как списка «что можно и что нельзя» делать, ошибочно. Ее наличие не отрицает плюрализма и предполагает, что существует множественность и что основополагающий механизм морали является частью человеческой природы и, таким образом, образует основу для индивидуальных (систем) моральных норм как для отдельных лиц, так и для сообществ. Они могут отличаться в зависимости от обстоятельств и конкретных историй. В эту мораль должно вписываться и поведение роботов.
В заключение автор отмечает, что исследования ДВ важны в силу следующих причин: 1) БА столкнется с ДВ, нравится это кому то или нет (и нравится ли делать трагический выбор или нет); 2) это обогащает картину нравственной интуиции и суждений в ДВ и за ее пределами; 3) можно получить более четкое понятие роли морали; 4) можно было бы усилить признание БА путем согласования человеческой морали (как общего инструмента регулирования социального взаимодействия, а не как конкретной системы конкретных моральных норм) и морали БА.
Будущие исследования ДВ, по словам автора, должны учитывать перспективы развития ИИ и эволюцию его алгоритмов. Дискуссия об «этике алгоритмов» ведется уже не первый год. Во-первых, замечает автор, значение этических исследований ДВ не в том, чтобы перечислить интуитивные суждения людей и решить нормативный вопрос о том, что необходимо делать в таких случаях. Они скорее позволяют понять, почему и как люди рассуждают морально, поэтому простой переход от ДВ-экспериментов к действиям БА невозможен. Во-вторых, необходимо учитывать сложность, гибкость и плюрализм этики. Еще один аспект, который необходимо принимать во внимание, связан с дилеммой Коллингриджа, согласно которой невозможно предусмотреть все последствия новой технологии. После ее внедрения процесс регулирования ста-
новится трудным или даже невозможным. Таким образом, заранее принять правильные решения, не ставя под угрозу выгоды технологического прогресса, сложно, если вообще возможно. Кроме того, нельзя недооценивать политические решения, так как, по мнению автора, государственные органы должны активнее участвовать в процессах регулирования технологического развития.
Таким образом, на основе ДВ выработать «правильную» этику, чтобы запрограммировать автомобили или принять законодательство, невозможно. Однако ДВ важна как основа, на которой формируются подходы к моральной оценке действий БА и разрабатывается этика.
Е.Г. Гребенщикова
2019.01.004. САСКИН З.Д., ДЖОРДАНО Дж.Дж. ТРАНСПЛАНТАЦИЯ ГОЛОВЫ: «ГОЛОВНОЕ ПРЕСТУПЛЕНИЕ»? ОБЗОР ЭТИЧЕСКИХ И ПРАВОВЫХ ВОПРОСОВ. SUSKIN Z.D., GIORDANO J.J. Body-to-head transplant; a «caputal» crime? Examining the corpus of ethical and legal issues // Philosophy, ethics, and humanities in medicine. - 2018. - Vol. 13, N 1. - In press. -Mode of access: https://doi.org/10.1186/s13010-018-0063-2
Ключевые слова: пересадка головы; нейроэтика; биоэтика; трансплантация; глобальная этика; нейрохирургия.
Авторы, сотрудники американских университетов, рассматривают этические и правовые проблемы, возникающие в трансплантологии, в частности с планами итальянского нейрохирурга пересадить человеческую голову.
Итальянский нейрохирург С. Канаверо (S. Canavero) планирует осуществить первую пересадку головы в 2019 г. в Китае. Эта процедура подразумевает соединение тела донора с головой реципиента. С. Канаверо считает себя первооткрывателем нового направления в трансплантологии, а саму процедуру полагает рискованной, необычной операцией. Американский биоэтик А. Каплан (A. Caplan) назвал трансплантацию головы «чушью с научной точки зрения» и «пустой новостью». Целый номер «Американского биоэтического журнала. Нейронауки»1 посвящен проблеме транс-
1 AJOB Neuroscience. - 2017. - Vol. 8, N 4.
