CC BY
117Работа в эпоху разумных машин: зарождение невидимой автоматизации
Нильс Кловлйт
Старший научный сотрудник, Международный центр современной социологической теории, Московская высшая школа социальных и экономических наук (МВШСЭН). Адрес: 119571, Москва, пр-т Вернадского, 84. E-mail: nils.klowait@gmail.com.
Мария Ерофеева
Старший научный сотрудник, Международный центр современной социологической теории, Московская высшая школа социальных и экономических наук (МВШСЭН); научный сотрудник, Центр социологических исследований, Российская академия народного хозяйства и государственной службы при Президенте РФ (РАНХиГС). Адрес: 119571, Москва, пр-т Вернадского, 84. E-mail: erofeeva-ma@ranepa.ru.
Ключевые слова: искусственный интеллект; беспорядок; драматическая реализация; Ирвинг Гофман; социальная видимость.
В статье анализируется влияние современной автоматизации на трансформацию форм занятости. Недавние прорывы в области искусственного интеллекта (ИИ) позволяют автоматизировать выполнение нестандартных умственных задач. В начале статьи прослеживается траектория развития ИИ: классические алгоритмы требовали создания герметичной среды, а современные — обучаются работать в условиях человеческого беспорядка. Проводится различение субститутив-ной и супплементарной автоматиза-ций. Для первой характерна полная замена человеческого труда машинным, вторая работает по логике замещения части профессиональных функций. Новому типу ИИ соответствует логика супплементации.
Анализируя супплементарную автоматизацию, авторы обращаются к драматургическому подходу Ирвинга Гофмана: любую профессию можно разделить на невидимые рутины, которые составляют ее основное содержание, и драматическую реализацию, которая делает профессию социально видимой. В статье демонстрируется, что в (анти)утопи-ческих образах автоматизации профессии редуцируются к их видимым элементам, что не отражает логику супплементарной автоматизации. В противовес этому доказывается, что мишенью современной автоматизации становятся не социально видимые элементы профессий, а невидимая рутинная работа. В заключительном разделе авторы развивают модель, которая учитывает невидимые профессиональные рутины.
Шедевр игры может быть разрушен нечувствительностью
к чувствам противника.
Ясунари Кавабата. Мастер игры в го (гугл-пер. с англ.)
Вступление. Автоматизировать неавтоматизируемое: случай Л1рНаОо
Кажется, что невозможно автоматизировать интеллектуальные способности: компьютер не может думать, как человек. Современные достижения в области искусственного интеллекта (далее — ИИ) бросают вызов этому представлению. Многое из того, что ранее казалось неавтоматизируемым, теперь способен выполнять компьютер: например, играть в го. «В западном мире есть шахматы, но го — несравнимо более тонкая и интеллектуальная игра», — говорил Ли Седоль, профессиональный игрок девятого дана с рейтингом Эло 35161, за несколько лет до своего матча с ИИ2. Это действительно так. В отличие от шахмат, в го количество комбинаций ходов превышает текущие вычислительные способности любого компьютера (число возможных позиций в го — более 16 млрд), что исключает возможность «механического» перебора позиций для совершения наиболее эффективного хода (эта техника использовалась для автоматизации шахмат с конца 1990-х годов). По этой причине, как считалось, автоматизация не грозит го, по крайней мере в ближайшие десятилетия.
Статья подготовлена в рамках научно-исследовательской работы Центра социологических исследований РАНХиГС «Трансформация экономических предпочтений населения РФ (2012-2018): культурные основания и социальные детерминанты» (2018).
1. В настольной игре го используются различные системы рейтингов, рангов и титулов. Наиболее распространенная система рангов японская, включающая девять данов, в которой девятый дан является пределом и показателем истинного мастерства. Одной из самых распространенных является система рейтингов Эло (применяется также к другим играм, в которых участвуют двое игроков), которая позволяет сравнивать мастерство игроков. Ранги традиционной шкалы данов в го соответствуют рейтингам системы Эло. См. URL: https://www.goratings.org/en.
2. Levinovitz A. The Mystery of Go, the Ancient Game That Computers Still Can't Win // Wired. 05.12.2014. URL: https://www.wired.com/2014/05/ the-world-of-computer-go.
54 логос•том 29 • #1•2019
В 2016 году программа AlphaGo3 одержала победу над Ли Се-долем4. Впоследствии в 20l7 году алгоритм выиграл у Ке Цзе, игрока в го, занимающего первую позицию в мире с рейтингом Эло 36705. Используя комбинацию из двух нейронных сетей, обученных на миллионах человеческих игр сильнейших профессионалов, AlphaGo смогла победить людей в игре, наиболее сложной для компьютера. Это стало возможным благодаря созданию нового типа ИИ.
Но это еще не конец истории. В статье исследователей из DeepMind6, опубликованной в журнале Nature в октябре 2017 года, сообщается, что новейшая итерация AlphaGo Zero достигла сверхчеловеческого мастерства. Она сделала это впервые без вмешательства человека, с помощью технологии «обучения с подкреплением» (reinforcement learning):
... когда AlphaGo Zero становится своим собственным учителем. Система начинается с нейронной сети, которая ничего не знает об игре го. Затем она играет против себя. настраивается и обновляется... и процесс начинается снова. Этот метод. больше не ограничен пределами человеческого знания. Наоборот, система может учиться от стадии tabula rasa у самого сильного игрока в мире: самого AlphaGo7
После трех дней «обучения» ИИ AlphaGo Zero превзошел способности AlphaGo Lee — ИИ, победившего Ли Седоля. Через 21 день он одержал победу над AlphaGo Master — ИИ, выигравшего у Ке Цзе. Наконец, через 40 дней AlphaGo Zero превзошел все прочие версии, достигнув рейтинга Эло 5l85 при использовании только части вычислительной мощности предыдущих версий. Стоит отметить, что AlphaGo Zero играл на уровне новичка уже после 3 ча-
3. Основанная на нейронной сети ИИ Google.
4. Borowiec S. AlphaGo Seals 4-1 Victory over Go Grandmaster Lee Sedol // 'tte Guardian. 15.03.2016. URL: https://www.theguardian.com/technology/2016/ mar/15/googles-alphago-seals-4-1-victory-over-grandmaster-lee-sedol.
5. Dunlop T. If Humans Are No Longer the Smartest Creatures on the Planet, We Can Reimagine Our Lives // 'tte Guardian. 01.06.2017. URL: https://www.the-guardian.com/sustainable-business/2017/jun/01/if-humans-are-no-longer-the-smartest-creatures-on-the-planet-we-can-reimagine-our-lives.
6. Первоначально независимая компания, теперь входящая в состав Google/ Alphabet Inc.
7. Hassabis D., Silver D. AlphaGo Zero: Learning from Scratch // Google DeepMind blog. 18.10.2017. URL: https://deepmind.com/blog/alphago-zero-learning-scratch.
сов обучения, превзошел его через 19 часов и достиг сверхчеловеческого уровня после всего 70 часов обучения.
Человечество копило знания игры го на основании миллионов игр, которые были сыграны на протяжении тысячи лет, а затем коллективно переведены в стратегии, зафиксированные в притчах и книгах. В течение нескольких дней, начиная с чистого листа, AlphaGo Zero смог заново открыть большую часть этого знания игры го, а также изобрести новые стратегии, которые меняют наши представления о самой древней из игр8.
Подобно AlphaGo, который изменил профессиональное понимание игры, новый тип ИИ меняет представления социальных ученых о профессиях и трудовой деятельности в целом. Случай AlphaGo — наглядный пример автоматизации умственного труда. Он показал, что компьютер не только в состоянии выполнять интеллектуальные операции на человеческом уровне, но может и превзойти его. В дальнейшем мы будем снова использовать пример AlphaGo в качестве мысленного эксперимента, иллюстрирующего, как современные тенденции автоматизации могут отразиться на работниках умственного труда. Стремительные успехи в области ИИ создают образ «Четвертой промышленной революции»9, которая фундаментально изменит профессиональный ландшафт.
В этой статье мы рассмотрим влияние нового типа ИИ на трансформацию форм занятости с точки зрения их социальной видимости. Для описания профессии как комплекса видимых и скрытых элементов обратимся к драматургическому подходу Ирвинга Гофмана. В первом разделе мы рассмотрим прогнозируемые последствия современной автоматизации для рынка труда. Затем проанализируем особенности нового типа ИИ, что позволит нам говорить об изменениях в логике автоматизации. После этого мы покажем, что ни утопические, ни антиутопические образы автоматизации не отражают эту логику, поскольку концентрируются исключительно на видимых аспектах профессиональной деятельности. Сконструировав модель, которая учитывает невидимые
8. Silver D. et al. Mastering the Game of Go Without Human Knowledge // Nature. 2017. Vol. 550. № 7676. P. 358.
9. См.: Frey C. B., Osborne M. A. The Future of Employment // Technological Forecasting and Social Change. 2017. Vol. 114. P. 254-280; The Future of Jobs. Employment, Skills and Workforce Strategy for the Fourth Industrial Revolution (Executive Summary) // World Economic Forum. January 2016. URL: http:// www3.weforum.org/docs/WEF_FOJ_Executive_Summary_Jobs.pdf.
профессиональные рутины, мы продемонстрируем потенциальное влияние нового типа автоматизации на разные профессии.
Четвертая промышленная революция
Тем, что проблема автоматизации занимает заметное место в публичных международных дискуссиях10, она в немалой степени обязана недавним успехам в области разработки ИИ. С появлением успешно работающих сверточных нейронных сетей (convolutional neural networks) в 2011 году" в областях робототехники, машинного зрения, автоматизации и ИИ произошли такие прорывы, которые еще десять лет назад казались научной фантастикой. Интеллектуальные автономные агенты теперь способны на уровне человека не только играть в очень абстрактную настольную игру го", но и создавать описания изображенных объектов", резюмировать содержание книг", рисовать фантастические картины!5, понимать и писать тексты!®, управлять автомобилями" и само-
10. Проблема автоматизации обсуждалась в Европейском парламенте в 2017 году. См.: Delvaux M. Report with Recommendations to the Commission on Civil Law Rules on Robotics // European Parliament. 27.01.2017. URL: http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP// TEXT+REPORT+A8-2017-0005+0+DOC+XML+V0//EN (русс. пер.: http://robotrends.ru/pub/1725/normy-grazhdanskogo-prava-o-robototehni-ke-i-hartiya-robototehniki).
11. В 2018 году на русском языке появилось первое научно-популярное введение в принцип работы нейронных сетей: Николенко С. И. и др. Глубокое обучение. Погружение в мир нейронных сетей. СПб.: Питер, 2018.
12. Silver D. et al. Op. cit.
13. Vinyals O. et al. Show and Tell: A Neural Image Caption Generator // ArXiv.org. 17.11.2014. URL: https://arxiv.org/abs/1411.4555.
14. Kaikhah K. Automatic Text Summarization with Neural Networks // 2004 Second International IEEE Conference on "Intelligent Systems". Proceedings. 2004. Vol. 1. № 1. P. 40-44.
15. Gatys L. A. et al. A Neural Algorithm of Artistic Style // ArXiv.org. 26.08.2015. URL: https://arxiv.org/abs/1508.06576; Mahendran A., Vedaldi A. Visualizing Deep Convolutional Neural Networks Using Natural Pre-images // International Journal of Computer Vision. 2016. Vol. 120. № 3. P. 233-255; Nguyen A. et al. Synthesizing the Preferred Inputs for Neurons in Neural Networks Via Deep Generator Networks // ArXiv.org. 30.05.2016. URL: https://arxiv.org/ abs/1605.09304.
16. Karpathy A. The Unreasonable Effectiveness of Recurrent Neural Networks // Andrej Karpathy blog. 21.05.2015. URL: http://karpathy.github.io/ 2015/05/21/rnn-effectiveness.
17. Bojarski M. et al. Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car // ArXiv.org. 25.04.2017. URL: https://arxiv.org/ abs/1704.07911.
обучаться на основе приобретенного опыта и при взаимодействии с окружающей средой. Более того, буквально каждую неделю появляются новые сферы приложения ИИ или происходит существенное улучшение существующих методов его использования.
Однако восторг от фантастических новых возможностей ИИ быстро сменился тревогой. Специалисты из разных областей стали осознавать последствия технологического развития для человеческого труда и, как следствие, для человеческого существования в целом. Предупреждения о разрушительных возможностях неконтролируемого ИИ сегодня делают признанные ученые и инженеры18. Хотя публичное обсуждение рисков в значительной степени сосредоточено на более умозрительных вопросах о роботах-убийцах и этических принципах делегирования принятия
о 19
решений искусственному интеллекту , несколько крупных исследовательских центров предприняли попытку оценить экономическую опасность нового типа автоматизации.
В частности, в январе 2016 года Всемирный экономический форум (ВЭФ) опубликовал доклад под заголовком «Будущее трудовой деятельности: занятость, навыки и карьерная стратегия в условиях Четвертой промышленной революции»20. Его результаты основаны на масштабном опросе глав отделов кадров и специалистов в области рекрутинга, представляющих 371 ведущую мировую компанию-работодателя с более чем 13 млн сотрудников; эти компании работают в 9 сферах деятельности в 15 развитых и развивающихся областях экономики.
Один из наиболее драматично звучащих выводов вышеупомянутого доклада гласит:
18. См.: Larson Q. A Warning from Bill Gates, Elon Musk, and Stephen Hawking // freeCodeCamp. 18.02.2017. URL: https://medium.freecodecamp.org/ bill-gates-and-elon-musk-just-warned-us-about-the-one-thing-politicians-are-too-scared-to-talk-8db9815fd398; Oran O. Rich and Powerful Warn Robots Are Coming for Your Jobs // Reuters. 04.05.2016. URL: http://reut.rs/1NU89SN.
19. См., напр.: Вахштайн В. С. Пересборка повседневности: беспилотники, лифты и проект ПкМ-1 // Логос. 2017. Т. 27. № 2. C. 1-48.
20. The Future of Jobs. Employment, Skills and Workforce Strategy for the Fourth Industrial Revolution (Global Challenge Insight Report) // World Economic Forum. January 2016. URL: http://www3.weforum.org/docs/WEF_Future_of_ Jobs.pdf. Краткое изложение доклада ВЭФ см. в: Пряжникова О. Н. Будущее трудовой деятельности: занятость, навыки и карьерная стратегия в условиях Четвертой промышленной революции // Социальные и гуманитарные науки. Отечественная и зарубежная литература. Серия 2: Экономика. Реферативный журнал. 2017. № 1. C. 139-143.
Современные тенденции могут привести к серьезному воздействию на структуру занятости, выражающемуся в потере более чем 5,1 млн рабочих мест вследствие резких (disruptive) рыночных изменений в период 2015-2020 годов, при общей сумме потерь в 7,1 млн рабочих мест, две трети из которых сосредоточены на исполнении рутинных офисных функций белых воротничков, таких как служебные и административные роли, а также общем приросте в 2 млн рабочих мест в областях, связанных с информатикой, математикой, архитектурой и инженерией21.
Хотя рыночные изменения должны создать ряд дополнительных рабочих мест, потери намного превышают их количество. По оценкам другого крупного исследовательского центра, Глобального института McKinsley, к 2030 году от 75 млн до 375 млн людей (что составляет от 3 до 14% мировой рабочей силы) окажутся вынуждены сменить сферу деятельности из-за того, что занимаемые ими рабочие места будут автоматизированы^. Среди прочих факторов, упомянутых в докладе ВЭФ, робототехника, автоматизация и ИИ также рассматриваются как источники проблем, которые дадут о себе знать в ближайшие пять лет. Прогнозируемые разрушительные последствия современного технологического развития для сферы занятости сравниваются с эффектами промышленной революции:
.учитывая грядущие темпы и масштабы дестабилизации, вызванные Четвертой промышленной революцией, это [развитие необходимых навыков у населения] просто невозможно. Без целенаправленных действий сегодня. правительствам придется справляться с постоянно растущей безработицей и неравенством23.
Метафора промышленной революции позволяет описывать новый тип ИИ через его способность автоматизировать неавто-матизируемое: интеллектуальную деятельность человека. Однако, как подчеркивают Карл Фрей и Майкл Осборн, возможности
21. Zahidi S., Leopold T. What Is the Future of Your Job? // World Economic Forum. 18.01.2016. URL: https://www.weforum.org/agenda/2016/01/ what-is-the-future-of-your-job.
22. Manyika J. et al. Jobs Lost, Jobs Gained: Workforce Transitions in a Time of Automation (Executive Summary) // McKinsey Global Institute. December 2017. URL: https://www.mckinsey.com/~7media/McKinsey/Featured%020Insights/ Future%20of%20Organizations/What%20the%20future%20of%20work%20 will%20mean%20for%20jobs%20skills%20and%20wages/MGI-Jobs-Lost-Jobs-Gained-Executive-summary-December-6-2017.ashx.
23. The Future of Jobs (Report). P. 10-11.
ИИ этим не ограничиваются24. Чтобы продемонстрировать его влияние на автоматизацию, авторы, опираясь на работу предше-ственников25, различают умственные и ручные, а также рутинные и нестандартные задачи. Первое различение отделяет задачи, связанные с интеллектуальным трудом, от тех, которые требуют выполнения физических операций. Рутинные задачи, в противоположность нестандартным, обозначают стандартизованную последовательность действий, которая приводит к ожидаемому результату. На основе этих различений авторы описывают отличие современной автоматизации от предшествующих «промышленных революций».
Фрей и Осборн проводят следующие параллели с машинизацией и автоматизацией труда в прошлом. XIX столетие столкнулось с «деквалификацией» ремесленников в том смысле, что мануфактурный труд постепенно превратился в «более мелкие, узкоспециализированные последовательности действий, выполнение которых требовало меньшего мастерства, но большего количества рабочих»2® (то есть ручной рутинный труд). В XX веке были автоматизированы однообразные умственные задачи, такие как обработка данных (то есть умственный рутинный труд). XXI век характеризуется растущим потенциалом автоматизации как умственных, так и ручных нестандартных задач.
Современная компьютеризация становится возможной благодаря преобразованию всех типов задач в «четко определенные проблемы» (well-defined problems), выраженные в «наборе процедур или правил, которые соответствующим образом направля-
о о о 97
ют технологию в каждой возможной непредвиденной ситуации» . Раньше это считалось недостижимым. Процессу компьютеризации способствует появление «все более крупных и сложных наборов данных, известных как big data»28. Другими словами, нестандартные задачи, как ручные, так и умственные, могут быть рутинизированы, если будет достаточно данных, чтобы создать повторяющиеся последовательности действий. По словам авторов, «уже сейчас технически возможно автоматизировать прак-
24. Frey C. B., Osborne M. A. Op. cit.
25. Autor D. H. et al. The Skill Content of Recent Technological Change // The Quarterly Journal of Economics. 2003. Vol. 118. № 4. P. 1279-1333.
26. Frey C. B., Osborne M. A. Op. cit. P. 256.
27. Ibid. P. 259.
28. Ibidem.
тически любую задачу при условии, что для распознавания образов будет собрано достаточное количество данных»".
Существуют три пограничные области, которые пока невозможно автоматизировать, однако это либо вопрос времени, либо проблема социальных конвенций. С одной стороны, все еще остались задачи, требующие восприятия и манипуляции, выполнение которых превосходит современные возможности машинного зрения, например в физической обстановке, заполненной большим количеством разрозненных объектов. Тем не менее эту проблему можно решить путем реструктуризации окружающей среды, что позволит приспособить ее к возможностям автоматизации30. С другой стороны, существует область деятельности, которую авторы называют творческими интеллектуальными задачами, где задействована «способность создавать идеи или артефакты, которые являются новыми и ценными», такие как «понятия, стихи, музыкальные композиции, научные теории, кулинарные рецепты и шутки»з\ Хотя машины в принципе способны производить нечто, что будет расцениваться людьми как творческое произведение, сдерживающим фактором в данном случае выступают человеческие ценности, которые устанавливают критерии творческой деятельности. Наконец, социальные навыки представляют проблему для автоматизации, во-первых, из-за высокой сложности социального взаимодействия и, во-вторых, из-за того, что люди далеко не во всех случаях согласны иметь дело с роботом вместо человек2.
Итак, автоматизация интеллектуальных задач не является определяющей чертой так называемой Четвертой промышленной революции. Ее ключевым свойством является автоматизация нестандартных задач — задач, с которыми раньше мог справиться только человек. Что же изменилось? Несмотря на то что упомяну-
29. Ibid. P. 261.
30. Это уже делается на крупных автоматизированных складах. См.: Pooler M. Amazon Robots Bring a Brave New World to the Warehouse // Financial Times. 25.08.2017. URL: https://www.ft.com/content/916b93fc-8716-11e7-8bb1-5ba57d47eff7.
31. Frey C. B., Osborne M. A. Op. cit. P. 262.
32. См.: Klowait N. A Conceptual Framework for Researching Emergent Social Orderings in Encounters with Automated Computer-Telephone Interviewing Agents // International Journal of Communication and Linguistic Studies. 2017. Vol. 15. № 1. P. 19-37; Idem. Technogenic Institutional Talk in an Automated Computer-Telephone Interviewing System // Asian Journal of Information Technology. 2017. № 16. P. 24-31; Experience is everything. The Future of Customer Experience Report 2017-2018 // PricewaterhouseCoopers. URL: htt-ps://pwc.to/2FvLwAL.
тые выше исследования дают общее представление о специфике ИИ нового типа, все еще остается неясным, чем он принципиально отличается от более ранних алгоритмов. В следующем разделе мы рассмотрим, как развивался ИИ и как это повлияло на возможности автоматизации.
Новый тип искусственного интеллекта — на пути автоматизации беспорядка
Социальные ученые недавно снова обратили внимание на то, что социальный мир находится в беспорядке, для работы с которым нужна особая «беспорядочная» методология33. Изучение людей протекает так же неупорядоченно, как и сама человеческая деятельность. То же самое справедливо для роботов: чтобы заменить людей, нужно работать в условиях человеческого беспорядка. Это задача, с которой классический ИИ не мог справиться. Он был подобен инопланетному гостю в мире людей: чтобы выжить в чуждой атмосфере, ему нужна была искусственно созданная среда и специализированное оборудование. Хорошим примером того, как работал «старый» ИИ, являются автоматизированные склады корпорации Amazon, где логистика значительно упрощена и сделана более-менее автономной за счет использования роботов Kiva, способных перемещать и сортировать предметы. Kiva похож на робот-пылесос, он ориентируется на складе и привозит полки с упаковками в специальную зону, где работает оператор-человек. Эта система автоматизации стала возможной благодаря своего рода «герметизации» пространства: склад организован таким образом, чтобы роботы могли в нем ориентироваться. Например, пол совершенно ровный и покрыт QE-кодами. Полки, которые поднимают роботы, специально разработаны таким образом, чтобы Kiva могли безопасно перемещаться под ними.
На рис. 1 видно, где «пространство роботов» пересекается с «пространством людей». Справа на фотографии можно увидеть роботы Kiva, которые выполняют свою работу. Они движутся по разметке на полу, как ладья в шахматах: вперед, назад, влево, вправо. На полу нет никаких препятствий. Местоположение любого объекта известно роботу, который перемещается по складу. Все совершенно иначе в «пространстве людей» (в левом нижнем
33. Ло Дж. После метода: беспорядок и социальная наука / Пер. с англ. С. Гав-риленко, А. Писарева, П. Хановой. М.: Издательство Института Гайдара, 2015.
Рис. 1. Организация пространства на складе Amazon. Источник: Kiva's Mick Mountz: How Robots Think (video). WIRED Business Conference 2011 // FORA.tv. URL: http://library.fora.tv/2011/05/03/ Kivas_Mick_Mountz_How_Robots_Think.
углу), отделенном желто-черной маркировкой на полу от остального пространства: коробки разложены без какой-либо определенной системы в стопки разного размера, на полу лежат случайные объекты. Это беспорядок. Неподходящая среда для нашего «инопланетянина», что обусловливает «барьер», который разделяет два пространства.
Такой тип автоматизации можно назвать субститутивным: берется автоматизируемая задача и создается специальная герметичная среда, в которой робот в состоянии заменить человека. Относительно беспорядочный «человеческий» склад рационализируется, чтобы стать пригодным для не-человека. Беспорядочные участки традиционного склада огораживаются и становятся недоступны для робота34. Субститутивная автоматизация обычно изображается в научной фантастике: судья заменяется судьей-роботом, полицейский —робокопом, человек—андроидомЗ5. Логика этого про-
34. Подкатегорией субститутивной автоматизации являются инструменты: робот, неспособный самостоятельно ориентироваться в беспорядочном мире людей, переносится от места к месту помощником-человеком.
35. Перечисленные образы автоматизации основываются на антропоморфи-зации роботов, так как антропоморфные характеристики являются видимыми для человека. Со схожей проблемой сталкиваются инженеры, проектирующие искусственных собеседников. См.: Klowait N. The Quest for Appropriate Models of Human-Likeness // AI & Society. 2018. Vol. 33. № 4. P. 527-536; Кловайт Н. Рефлексивный антропоморфизм: неведение онто-
цесса такова, что субституция — единственно возможный способ автоматизации именно потому, что всегда будет область «беспорядка», которую нужно либо упорядочить, либо изолировать.
Однако сейчас мы вступаем в новую эру автоматизации: она становится супплементарной. Эта волна автоматизации отличается способностью ИИ справляться с человеческим беспорядком. Если вернуться к инопланетной метафоре, то на этом этапе инопланетянин, приспособившись к земной атмосфере, наконец может самостоятельно исследовать неведомый ему мир.
Область машинного зренияЗ6 находится на переднем крае этой революции, началом которой можно считать 2012 год, поскольку именно тогда нейронные сети начали значительно превосходить другие алгоритмы во время ежегодного соревнования по классификации изображений ImageNet37. Задача соревнования состояла в том, чтобы алгоритмы правильно угадали, что изображено на картинках. На приведенном ниже графике показаны коэффициенты ошибок для различных алгоритмов (рис. 2).
Если один из лучших алгоритмов 2011 года имел показатель ошибки почти 50%, то в последующие годы конкурирующие нейронные алгоритмы показали резкое снижение частоты ошибок, а также сильную близость результатов. В 2015 году алгоритмы классификации изображений достигли сверхчеловеческого уровня (то есть ошибались реже, чем человек), который с тех пор повышается. На сегодняшний день роботы могут описывать содержание видео, распознавать перекрывающие друг друга объекты в хаотичных изображениях, анализировать сложные человеческие высказывания и описывать пространственное расположение объектовЗ8.
Для целей данной статьи значимо, что новые формы ИИ могут справляться с человеческим беспорядком. Например, на рис. 3 изображено, как несколько устаревший, но легкодоступный в интер-
логии или невежественная онтология? // Социологический журнал. 2018. Т. 1. № 24. C. 8-33.
36. Машинное зрение — область исследований, в которой разрабатываются алгоритмы, позволяющие компьютерам видеть и ориентироваться в реальном мире.
37. См.: From Not Working to Neural Networking // The Economist. 25.06.2016. URL: https://www.economist.com/special-report/2016/06/25/from-not-working-to-neural-networking.
38. Достижения ИИ не ограничиваются машинным зрением или распознаванием текста. Андрей Карпаты, один из пионеров в этой области, теперь возглавляет отдел ИИ в компании Tesla, где разрабатывается система беспилотного вождения.
Рис. 2. Динамика коэффициента ошибки в ежегодном соревновании алгоритмов распознавания образов ImageNet. Источник: Wikipedia.org.
нете алгоритм «видит» стол одного из авторов. Объекты на столе размещены хаотично. Их пространственное расположение является результатом бессознательной профессиональной рутины, случайности, очень отличающейся от стерильного и рационализированного склада Amazon. Тем не менее система машинного зрения не испытывает проблем с распознаванием странных, частично перекрывающих друг друга и искаженных перспективой снимка объектов повседневной жизни исследователя. Она в состоянии иметь дело с контингентностью и неопределенностью. Кроме того, когда нейронная сеть обучена на достаточно большом наборе данных, она может справляться с беспорядком в режиме реального времени.
Таким образом, хотя это развитие ИИ не обязательно означает, что склады Amazon вернутся в «по-человечески хаотичную» форму, граница между человеческим и нечеловеческим пространствами оказалась размыта. Сейчас мы живем в эпоху, когда роботы могут справляться с беспорядком. Если они в состоянии понять человеческий беспорядок, то больше нет веских оснований изолировать роботов в их герметизированных мирах. Лед тронулся.
Вышеописанные изменения в области ИИ прокладывают путь для супплементарной автоматизации. Это не означает, что роботы смогут заменить большее количество профессионалов-людей. Ровно наоборот: роботы будут все в большей степени вхо-
Рис. 3. Изображение рабочего стола, обработанное нейронным алгоритмом распознавания образов. Источник: фото авторов.
дить в квазисимметричное партнерство с людьми именно потому, что теперь они в состоянии избирательно относиться к задачам, которые могут выполнять. Если в логике субституции автоматизация состояла в полной замене «черного ящика» человеческих навыков технологией, то роботы новой эры могут рассматривать профессию как набор автоматизируемых компонентов. Далее мы обратимся к вопросу, как такая многокомпонентная организация профессиональной деятельности отражается в образах автоматизации.
Открывая черный ящик (анти)утопических образов автоматизации
Метафора «промышленной революции», которая используется для описания нового витка развития ИИ, рождает определенный образ автоматизации, основанный на логике субституции (замены человеческого труда машинным). От создания парового двигателя до внедрения в производство информационно-коммуникационных технологий — в социальном плане для той или иной «революции» была характерна трансформация сферы занятости: автоматизация старых профессий сопровождалась возникновением новых. Тем не менее в социальном воображении автоматизация связывается, скорее, с потерей рабочих мест:
... идея сокращения кадров в связи с автоматизацией может показаться общим правилом. следует всегда полагаться скорее
на надежных делегированных не-человеков, чем на недисциплинированных людей .
Современные образы автоматизации, связанные с этой метафорой, могут принимать как негативную, так и позитивную окраску. В первом случае возникает антиутопия, в которой роботы отнимают работу у людей40. Прагматическим мотивом здесь является снижение финансовых затрат на робототехнику и сенсорные технологии, а также их растущая глобальная доступность. Такая замена позволила бы заместить сравнительно дорогих и склонных к ошибкам людей компьютерами, которые с меньшими затратами способны обрабатывать бóльшие объемы разрозненных данных, таких как медицинские карты и диагнозы, финансовая и юридическая информация и т. п. Во втором случае перед нами утопическое «пост-трудовое общество», в котором роботы делают всю работу за людей, а последние заняты саморазвитием4\
В обоих случаях речь идет о полной замене человека машиной. Как дверной доводчик заменил швейцара, так современный ИИ может претендовать на места многих профессионалов. Робот-судья или робот-кассир на сегодняшний день — уже не утопия, а реальности2. Но насколько реальность соответствует своему образу? Если посмотреть на образы автоматизации внимательнее — они строятся на видимых элементах профессий. Робот-судья — это программа, которая в первую очередь выносит решения по судебным искам (а не просто систематизирует юридическую информацию). Однако профессиональная деятельность включает не только видимые элементы; большая часть рутинной работы остается незаметной. Чтобы подняться над види-
39. Латур Б. Где недостающая масса? Социология одной двери // Социология вещей: Сб. ст. / Под ред. В. С. Вахштайна. М.: Территория будущего, 2006. C. 219. Речь идет исключительно об образе автоматизации. Подробнее о том, почему машины не всегда компетентнее людей, см. в: Ерофеева М. А. Люди и/или технологии? Релевантность материальных объектов в повседневном взаимодействии // Социология науки и технологий. 2015. Т. 6. № 4. C. 140-153.
40. См., напр.: ElliottL. Robots Will Take Our Jobs. We'd Better Plan Now, Before It's Too Late // The Guardian. 01.02.2018. URL: https://www.theguardian.com/ commentisfree/2018/feb/o1/robots-take-our-jobs-amazon-go-seattle.
41. См., напр.: Walsh T. Will Robots Bring About the End of Work? // The Guardian. 01.10.2017. URL: https://www.theguardian.com/science/political-science/2017/ oct/01/will-robots-bring-about-the-end-of-work.
42. См.: Aletras N. et al. Predicting Judicial Decisions of the European Court of Human Rights // PeerJ Computer Science. 2016. Vol. 2; Grewal D. et al. The Future of Retailing // Journal of Retailing. 2017. Vol. 93. № 1. P. 1-6.
мой поверхностью образов автоматизации и описать профессию как комплекс видимого и невидимого, обратимся к теории Ирвинга Гофмана43, в которой исследуется, как люди при выполнении любой деятельности превращают ее значимые, но невидимые аспекты в видимые.
Гофман подчеркнул необходимость «театрального воплощения» (dramatization) профессиональной деятельности44. При выполнении любой задачи люди не просто что-то делают (достигают практического результата), а одновременно коммуницируют с помощью своей деятельности, то есть демонстрируют важные для профессионального образа характеристики.
В присутствии других индивид, как правило, сопровождает свои действия знаками, которые живо изображают и высвечивают подкрепляющие его образ факты, иначе, возможно, оставшиеся бы незамеченными или смутными. Ибо деятельность индивида станет значимой для других, только если на протяжении всего взаимодействия его действия будут выражать именно то, что он
4 S
хочет передать и внушить другим .
К примеру, использование узкоспециализированной терминологии в научной коммуникации призвано продемонстрировать (не всегда очевидную) значимость и необходимость невидимой научной работы.
При этом не все профессии одинаково поддаются драматизации. Во времена Гофмана «драматическое самовыражение» таких профессий, как боксеры, хирурги, скрипачи и полицейские, было настолько «инструментально важным для выполнения центральной задачи, статуса», что профессиональная деятельность была «способна превосходно (с точки зрения коммуникации) передавать информацию о качествах и свойствах, на какие претендует исполнитель»^. Основной навык скрипача — способность умело играть на скрипке — обычно демонстрируется перед большими аудиториями на концертах. Скрипачу не сложно продемонстрировать профессиональный статус в процессе самого исполнения.
Иными словами, некоторые элементы профессии являются социально видимыми. Если они «выгодные», получается, что ключе-
43. Гофман И. Представление себя другим в повседневной жизни. М.: Канон-пресс-Ц; Кучково поле, 2000.
44. Там же. С. 63.
45. Там же.
46. Там же. С. 63-64.
вые характеристики профессиональной деятельности способствуют созданию соответствующего благоприятного образа. Именно видимые элементы профессии становятся «топливом» для (анти) утопического социального воображения. Фильмы про полицейских показывают сцены погони и перестрелок, а не рутинную бюрократическую работу. Дети мечтают стать скорее актерами и бизнесменами, нежели уборщиками или могильщиками.
В противоположность профессиям, которые хорошо поддаются драматизации, существует немало занятий с неблагоприятной социальной видимостью. В таком случае основные профессиональные навыки остаются скрыты, а видимые элементы не указывают на компетентность. Например, медицинские сестры, в обязанности которых входит отслеживание состояние здоровья пациентов, не демонстрируют им набор требуемых профессиональных навыков47. Для пациентов медсестры приходят и уходят, болтают с пациентами и между собой, тем самым демонстрируя компетенции, внешне не требующие высокой квалификации. Несмотря на то что эта профессия может предъявлять достаточно высокие требования к навыкам работников, описанную ситуацию следует расценить как провал «исполнения». Реальная деятельность не соответствует ее драматической реализации.
Социальная видимость определенных профессий также отражается в образах автоматизации: если робот заменит человека, то он станет выполнять видимую работу, которая скрывает за собой невидимую рутину. Робот-врач будет выносить диагноз, а робот-судья — приговор. Основой образа автоматизации становятся именно видимые элементы профессий, причем, как правило, благоприятно видимые. Например, в фильмах про робота-полицейского («робокопа») мы видим главного героя участвующим в перестрелках, а не заполняющим отчеты в офисе. Поскольку в социальном воображении невидимая часть профессиональной деятельности отсутствует, возникает образ субститутивной автоматизации. ИИ может заменить видимые части профессии, которые являются метонимией профессии в целом. При этом упускается из виду, что профессиональная деятельность неоднородна и предполагает также огромный пласт невидимых функций. (Анти)утопические образы автоматизации—это всего лишь верхушка айсберга, которая скрывает реальную логику современной автоматизации.
Как мы показали в предыдущем разделе, возможности ИИ скорее раскрываются посредством супплементарной автоматиза-
47. Там же. С. 64.
ции, когда программа берет на себя часть функций профессии, а не претендует на то, чтобы перенять их все. Драматургический подход Гофмана позволил продемонстрировать, что функции, которые в состоянии исполнять алгоритм, могут быть как видимыми, так и невидимыми. Это означает, что современная автоматизация может значительно изменить драматическое воплощение целого ряда профессий. При этом разные типы профессий могут испытывать неодинаковое влияние в зависимости от того, видимые или невидимые их элементы замещаются.
Чтобы проиллюстрировать потенциальные социальные последствия такого типа автоматизации, вернемся к случаю AlphaGo и осуществим следующий мысленный эксперимент. Если бы мы жили в обществе, в котором игрок в го — рядовая профессия, каковы были бы параметры этой профессии? Игра го требует многих лет практики и развития абстрактного стратегического мышления высокого уровня, поэтому ее можно считать ярким примером умственного труда. При этом ее благоприятная социальная видимость в первую очередь связана с проявлением высоких интеллектуальных навыков в процессе игры.
Если бы современные достижения в области цифровых технологий позволили этой го-профессии перейти от физических манипуляций на доске к цифровой игре (что соответствует современным тенденциям перевода многих умственных задач в цифровую среду), AlphaGo Zero мог бы легко заменить множество профессионалов. Разумеется, игроки-люди в такой гипотетической ситуации не пропадут, однако их функции переместятся в область социальных отношений: например, выступление на телевидении, обучение новых игроков, социальные ритуалы на турнирах (игра го включает значительный церемониальный компонент). В терминологии Гофмана для людей-игроков со временем профессия перейдет из области благоприятной социальной видимости в неблагоприятную.
Представляется вероятным, что в начале будет действовать какая-то профессиональная инерция: «специалисты по игре го» будут восприниматься как таковые в течение некоторого периода времени (благоприятная социальная видимость), несмотря на то что «базовый» набор их навыков будет в значительной степени автоматизирован. Однако в какой-то момент следует ждать пересмотра. В любом случае, по крайней мере для игроков в го, автоматизация была бы чрезвычайно уничижительной, так как она редуцировала бы интеллектуальную часть их деятельности к областям, которые, по сути, не имеют ничего общего с их исконны-
ми профессиональными навыками (неблагоприятная социальная видимость). В долгосрочной перспективе подобные тенденции приведут к снижению престижа профессии.
Иными словами, «работа» игрока в го, как ни парадоксально, будет заключаться в чем угодно, кроме собственно игры го. Тем не менее для игроков в го это, скорее, гипотетическая опасность, так как их область деятельности относится к решению творческих интеллектуальных задач, в терминологии Фрея и Осборна, и, соответственно, связана с человеческими ценностями. Тогда как, например, для врачей автоматизация может в ближайшем будущем создать реальную проблему самопрезентации. В следующем разделе мы проанализируем, какое влияние новый тип автоматизации может оказать на разные типы профессий в зависимости от их социальной видимости.
Грядущие трансформации занятости
В своей работе Фрей и Осборн исследовали подверженность разных специальностей компьютеризации48. Для этого они проанализировали 702 профессии, перечисленные в базе данных Министерства труда США O*NET, и вычислили соответствующую вероятность компьютеризации для каждой из них.
По оценкам авторов, «47% от общего числа занятых в США относятся к категории высокого риска... то есть эти профессии, как мы ожидаем, могут быть автоматизированы относительно быстро, возможно в течение следующего десятилетия или двух», и «значительная доля занятых в сфере услуг, где в основном происходил прирост занятости в США в последние десятилетия. с высокой вероятностью будет подвержена компьютеризации», наряду с «большинством работников в сфере транспорта и логистики, а также с целым рядом офисных и административных профессий и трудом в сфере промышленного производства»^.
Авторы делают оговорку, что их результаты показывают исключительно подверженность той или иной профессии компьютеризации (то есть способность не-человека освоить конкретный набор профессиональных навыков), а не оценивают возможность преодоления всех политических, социальных и практических препятствий, чтобы это стало реальностью. Иными словами, в исследовании Фрея и Осборна за основу берутся навыки, не-
48. Frey C. B., Osborne M. A. Op. cit.
49. Ibid. P. 268.
обходимые для каждой профессии, и классифицируются как более или менее подверженные компьютеризации. Легче всего автоматизируются рутинные задачи, как ручные, так и умственные. Больший интерес представляют последние, поскольку до возникновения нового типа ИИ им в меньшей степени угрожала автоматизация. Теперь на примере нескольких профессий рассмотрим, что это меняет в сфере занятости, если учитывать социальную видимость.
Представим себе основные компетенции «работника умственного труда» (то есть человека, который занят преимущественно работой с информацией, а не ручным трудом) в виде своеобразной карты. На этой карте, помимо нестандартных интеллектуальных операций, обнаружатся большие области повседневного, рутинного, но не менее необходимого труда. Более «яркие» интеллектуальные компетенции, такие как «индивидуальный стиль», будут не более чем островками на указанной карте. Кроме того, хотя эти островки могут быть более (или исключительно) заметными для внешних наблюдателей, они открывают только верхушку, которая держится на исполнении рутинных и банальных, но трудоемких задач, составляющих значительную часть профессионального труда. Умственный труд до сих пор был защищен от автоматизации именно потому, что он ассоциировался c «неотъемлемо человеческими» интеллектуальными способностями.
Например, клише адвоката — это работник суда, однако значительная часть юридической профессии состоит в легко автоматизируемой обработке большого объема документов, связанной с досудебным представлением доказательств, поиском прецедентов и применимых в конкретном случае законов, отправкой стандартизованных форм и другими менее респектабельными задачами50. Иными словами, в любой профессии мы можем выделить ее иконическую социальную видимость и невидимую рутинную профессиональную деятельность, которая как раз и занимает большую часть рабочего времени. В наши дни автоматизация направлена именно на последнюю, потому что «навыки» современного ИИ включают способность рабо-
50. См.: HallR. Ready for Robot Lawyers? How Students Can Prepare for the Future of Law // The Guardian. 31.07.2017. URL: https://www.theguardian.com/law/2017/ jul/31/ready-for-robot-lawyers-how-students-can-prepare-for-the-future-of-law; Ovenden J. Why The Legal Profession Is Turning To Machine Learning // Innovation Enterprise. 25.01.2017. URL: https://channels.theinnovationenterprise. com/articles/why-the-legal-profession-is-turning-to-machine-learning.
72 логос•том 29 • #1•2019
тать с гигантскими объемами информации, а не драматургически представлять ключевые особенности деятельности (вопреки образам автоматизации). Основным последствием автоматизации для такого типа профессии станет ее сведениие к икониче-ской видимости: судья-человек зачитывает приговор, но решение было вынесено алгоритмом на основании обработки юридической информации.
Для профессий, связанных с медицинской диагностикой, характерна противоположная тенденция. Наблюдаемый сегодня взрыв возможностей ИИ связан с новейшими разработками в области машинного зрения, которая решает проблему классификации объектов не-человеками. Частично по этой причине профессии, связанные с классификацией, стали одной из первых мишеней автоматизации. Депутат Европейского парламента Кристиан-Сильвиу Бушоа заявил в ходе дебатов по гражданскому регулированию робототехники, что «медицинские роботизированные устройства уже сейчас ставят более точные диагнозы и выбирают оптимальные стратегии лечения, ухода и реабилитации пациентов, а в будущем будут двигателями развития медицины»51. Иными словами, компетентность в области диагностики — отличительный знак профессионального врача и результат многих лет медицинского обучения — уже частично делегируется машинам.
Вместо этого, по словам депутата, необходимо сосредоточиться на «значении поддержания отношений между пациентом и врачом в процессе диагностики, лечения и последующего наблюдения» и «значении медицинского образования и подготовки медицинских работников: люди, ухаживающие за больными, останутся необходимы и будут по-прежнему служить важным источником социального взаимодействия»^2. Высказанную Бушоа точку зрения подтверждают результаты отчета ВЭФ «Будущее трудовой деятельности», в котором утверждается, что
... в целом социальные навыки, такие как способность убеждать, понимать эмоции и обучать других, будут пользоваться большим спросом в различных сферах экономики, нежели узкоспециализированные технические навыки, такие как программирование или эксплуатация оборудования. В сущности, технические
51. Civil Law Rules on Robotics (debate) // European Parliament Debates. 15.02.2017. URL: http://www.europarl.europa.eu/sides/getDoc.do?type= CRE&reference=20i702i5&secondRef=ITEM-oi4&language=EN.
52. Ibidem.
навыки должны подкрепляться сильными социальными навыками и навыками совместной работы53.
В пользу высказанных аргументов говорит также наблюдение Фрея и Осборна о том, что современный технологический фрон-тир частично формируется задачами, требующими социальных навыков, то есть такими, которые «связаны с переговорами, убеждением и заботой»^4.
В случае профессии врача мы наблюдаем полную противоположность автоматизации юридической профессии. Профессия медицинского работника постепенно освобождается от своего «клише», то есть от внешне видимых и престижных диагностических компетенций, и опускается на более приземленный повседневный уровень социального взаимодействия. Иными словами, благоприятная социальная видимость профессии врача рискует стать неблагоприятной и по своей драматической реализации приблизиться к профессии медсестры. Это реальная профессия, которая соответствует нашему описанию гипотетической профессии игрока в го.
Если переместиться с индивидуального уровня драматической реализации профессиональной деятельности на макроуровень, различение между видимыми и невидимыми элементами профессии останется значимым. Рассмотрим еще один пример. «Google Переводчик» (Google Translate), который раньше служил скорее средством продемонстрировать необходимость в переводчиках-людях, чем собственно системой машинного перевода, недавно стал использовать нейронные сети для определенных языковых пар55. Теперь система делает удовлетворительные переводы и способна без труда обрабатывать сложные и длинные предложения.
Хотя по-прежнему существуют нерешенные проблемы, не позволяющие машинному переводчику достигнуть производительности человека-эксперта, резкий скачок от «грязного» перевода Google 1.0 к его «опрятной» нейронной версии превосходно иллюстрирует возможности автоматизации. На сегодняшний день переводчик-не-человек достиг такого уровня развития, что может выполнить значительную часть человеческого переводческого труда. Несмотря на то что он пока не демонстрирует контек-
53. The Future of Jobs (Executive Summary).
54. Frey C. B., Osborne M. A. Op. cit. P. 262.
55. Wu Y. et al. Google's Neural Machine Translation System // ArXiv.org. 26.09.2016. URL: https://arxiv.org/abs/1609.08144.
74 логос•том 29 • #1•2019
стуальное понимание текста, а также не может передать стиль на уровне профессионального переводчика, он уже сейчас способен вытеснить людей в низкоквалифицированных сегментах профессии. Более того, хотя «Google Переводчик» в настоящее время не соответствует уровню «хороших переводчиков», он может значительно упростить их работу. Если представить себе фирму, в которой один «главный» переводчик следит за работой нескольких менее квалифицированных, то «Google Переводчик» мог бы успешно выполнять работу последних и одновременно свел бы обязанности первого к редактуре.
Таким образом, на макроуровне автоматизации подвержены невидимые навыки, которые являются необходимыми в любой профессии. Как мы выяснили, людям остаются социальные навыки и уровень профессионального мастерства. Расшифровка длинной фразы с большим количеством сложноподчиненных предложений обычно требует от переводчика-человека больших затрат времени, чем привнесение «стиля», отточенного на протяжении многих лет профессиональной карьеры. Хотя именно «стиль» в первую очередь бросается в глаза заказчику, опытные переводчики тратят на эту операцию лишь малую толику своих усилий. Иными словами, современная автоматизация демонстрирует тенденцию сводить интеллектуальные профессии к их «клише» или совокупности социальных навыков, одновременно делегируя большую часть скрытой фоновой профессиональной рутины машинам. Невидимые элементы профессий являются автоматизируемыми, а видимые относительно защищены от автоматизации либо из-за ограничений возможностей ИИ (в случае социальных навыков и мастерства), либо из-за отсутствия необходимости в замещении (в случае чистой иконической видимости). Результаты нашего анализа обобщены в табл. 1.
Подведем итоги. Искусственный интеллект, с одной стороны, размывает совокупность ранее видимых «базовых навыков» определенных профессий, делегируя их видимые элементы машинам. Например, врачи вместе с фактической потерей основных навыков могут также уступить драматургические элементы своей деятельности машинам, работающим на заднем плане (проводящим диагностику), и сохранить видимые навыки, близкие к видимым навыкам профессии медсестры. С другой стороны, ИИ присваивает невидимые, но важные аспекты профессиональной деятельности, оставляя людям по большей части иконические элементы профессии и профессиональные клише. Например, приговор может зачитывать судья, а решение по делу будет принято и приговор вы-
Табл.1. Автоматизируемость видимых и невидимых элементов профессий: влияние на драматическую реализацию (индивидуальный уровень) и трансформацию форм занятости (макроуровень)
Видимые элементы/ защищенные Невидимые элементы/ автоматизируемые Видимые элементы/ защищенные
Индивидуальный уровень
Социальное взаимодействие Ключевая профессиональная деятельность Иконическая видимость
Макроуровень
Социальные навыки Необходимые невидимые навыки Мастерство
несен на основе машинного анализа информации. Следовательно, вдобавок к потере людьми компетенций из-за автоматизации ИИ влияет на экспрессивное представление профессиональных навыков, оставляя людям либо карикатуру на профессию, либо профессию, редуцированную к ее видимой интерактивной обыденности6.
Заключительные замечания: эра невидимой автоматизации
Нынешняя тенденция к автоматизации, как можно заключить, не лишает людей работы. Однако она «врезается» в своего рода «срединную» область профессионального ландшафта. Это наступление на трудовую сферу носит двоякий характер: с одной стороны, автоматизация представляет угрозу скорее для рутинных навыков, чем для результатов долгосрочного профессионального опыта, с другой — замещает немалую толику автоматизируемых рутинных действий в рамках отдельных профессий. В результате для некоторых специальностей существует вполне осязаемый риск быть сведенными к периферийным функциям. Если профессия предполагает человеческое взаимодействие, именно оно становится сферой экспертизы людей (так как эта область все еще недостижима для современного ИИ). Если же профессия содержит в себе требования высокой квалификации (то есть она пока слишком сложна для полной автоматизации), то большой пласт рутин-
56. См. также: Goos M., Manning A. Lousy and Lovely Jobs: The Rising Polarization of Work in Britain // Review of Economics and Statistics. 2007. Vol. 89. № 1.
P. 118-133.
ных действий, на которых она основана, постепенно начинает выполняться более компетентными не-человеками.
Может показаться, что супплементарная автоматизация не представляет никаких угроз для трудовой деятельности, так как машины не заменяют людей, а берут на себя только некоторые, наиболее скучные и рутинные элементы профессиональной деятельности. Однако ее последствия могут быть даже более серьезными, чем последствия субститутивной автоматизации, потому что она незаметна. Мы живем в эпоху невидимой автоматизации. Пока мы смотрим на социально видимые аспекты профессиональной деятельности, машины приобретают необходимые навыки для выполнения невидимых рутинных операций, которые составляют фундамент любой профессии.
С точки зрения рынка труда в целом автоматизация влечет за собой необходимость переосмысления самого понятия «профессиональной деятельности». Поскольку лишь меньшинство людей работают на уровне мастерства, для большей части трудового населения современная автоматизация может стать серьезным ударом по драматической реализации. Если ИИ принимается за выполнение рутинных рабочих задач, то оставшиеся икониче-ские и социальные аспекты профессии не смогут сами по себе выражать качества, на которые претендует работник-человек (врач становится более заботливым, но перестает быть врачом). Современным работникам необходимо осваивать новые профессиональные компетенции, которые смогут выполнять функцию драматической реализации.
В заключение необходимо отметить, что автоматизация не обязательно будет развиваться по описанному в данной статье сценарию. Мы изложили лишь логику автоматизации, связанную с современным типом ИИ; мы не учитывали многочисленные факторы, которые могут повлиять на то, будет ли современный человеческий труд автоматизирован, и если да, то как. Но если это случится, автоматизация будет невидимой и супплементарной.
Библиография
Вахштайн В. С. Пересборка повседневности: беспилотники, лифты и проект
ПкМ-1 // Логос. 2017. Т. 27. № 2. С. 1-48. Гофман И. Представление себя другим в повседневной жизни. М.: Канон-
пресс-Ц; Кучково поле, 2000. Ерофеева М. А. Люди и/или технологии? Релевантность материальных объектов в повседневном взаимодействии // Социология науки и технологий. 2015. Т. 6. № 4. С. 140-153.
Кловайт Н. Рефлексивный антропоморфизм: неведение онтологии или невежественная онтология? // Социологический журнал. 2018. Т. 1. № 24. C. 8-33.
Латур Б. Где недостающая масса? Социология одной двери // Социология вещей / Под ред. В. С. Вахштайна. М.: Территория будущего, 2006. С. 199-222.
Ло Дж. После метода: беспорядок и социальная наука. М.: Издательство Института Гайдара, 2015.
Николенко С. И., Кадурин А. А., Архангельская Е. О. Глубокое обучение. Погружение в мир нейронных сетей. СПб.: Питер, 2018.
Пряжникова О. Н. Будущее трудовой деятельности: занятость, навыки и карьерная стратегия в условиях Четвертой промышленной революции // Социальные и гуманитарные науки. Отечественная и зарубежная литература. Серия 2: Экономика. Реферативный журнал. 2017. № 1. C. 139-143.
Aletras N., Tsarapatsanis D., Preotiuc-Pietro D., Lampos V. Predicting Judicial
Decisions of the European Court of Human Rights // PeerJ Computer Science. 2016. Vol. 2. URL: http://peerj.com/articles/cs-93/.
Autor D. H., Levy F., Murnane R. J. The Skill Content of Recent Technological Change // The Quarterly Journal of Economics. 2003. Vol. 118. № 4.
P. 1279-1333.
Bojarski M., Yeres P., Choromanska A., Choromanski K., Firner B., Jackel L.,
Muller U. Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car // ArXiv.org. 25.04.2017. URL: http://arxiv.org/ abs/1704.07911.
Borowiec S. AlphaGo Seals 4-1 Victory over Go Grandmaster Lee Sedol // The
Guardian. 15.03.2016. URL: http://theguardian.com/technology/2016/mar/15/ googles-alphago-seals-4-1-victory-over-grandmaster-lee-sedol.
Civil Law Rules on Robotics (debate) // European Parliament Debates. 15.02.2017.
URL: http://europarl.europa.eu/sides/getDoc.do?type=CRE&reference=20170 215&secondRef=ITEM-014&language=EN.
Delvaux M. Report with Recommendations to the Commission on Civil Law Rules on Robotics // European Parliament. 27.01.2017. URL: http://europarl.europa.eu/sides/getDoc.do?pubRef=-//EP// TEXT+REPORT+A8-2017-0005+0+DOC+XML+V0//EN.
Dunlop T. If Humans Are No Longer the Smartest Creatures on the Planet, We Can Reimagine Our Lives // The Guardian. 01.06.2017. URL: http://theguardian. com/sustainable-business/2017/jun/01/if-humans-are-no-longer-the-smartest-creatures-on-the-planet-we-can-reimagine-our-lives.
Elliott L. Robots Will Take Our Jobs. We'd Better Plan Now, Before It's Too Late // The Guardian. 01.02.2018. URL: http://theguardian.com/ commentisfree/2018/feb/01/robots-take-our-jobs-amazon-go-seattle.
Experience is Everything. The Future of Customer Experience Report 2017-2018 // PricewaterhouseCoopers. URL: http://pwc.to/2FvLwAL.
Frey C. B., Osborne M. A. The Future of Employment // Technological Forecasting and Social Change. 2017. Vol. 114. P. 254-280.
From Not Working to Neural Networking // The Economist. 25.06.2016. URL: http://economist.com/special-report/2016/06/25/ from-not-working-to-neural-networking.
Gatys L. A., Ecker A. S., Bethge M. A Neural Algorithm of Artistic Style // ArXiv.org. 26.08.2015. URL: http://arxiv.org/abs/1508.06576.
78 логос•Том 29•#1•2019
Goos M., Manning A. Lousy and Lovely Jobs: The Rising Polarization of Work in Britain // Review of Economics and Statistics. 2007. Vol. 89. № 1.
P. 118-133.
Grewal D., Roggeveen A.L., Nordfalt J. The Future of Retailing // Journal of Retailing.
2017. Vol. 93. № 1. P. 1-6. Hall R. Ready for Robot Lawyers? How Students Can Prepare for the Future of
Law // The Guardian. 31.07.2017. URL: http://theguardian.com/law/2017/jul/31/ ready-for-robot-lawyers-how-students-can-prepare-for-the-future-of-law. Hassabis D., Silver D. AlphaGo Zero: Learning from Scratch // Google DeepMind blog. 18.10.2017. URL: http://deepmind.com/blog/ alphago-zero-learning-scratch. Johnson J., Karpathy A., Fei-Fei L. Fully Convolutional Localization Networks for Dense Captioning // ArXiv.org. 24.11.2015. URL: http://arxiv.org/ abs/1511.07571.
Kaikhah K. Automatic Text Summarization with Neural Networks // 2004 Second International IEEE Conference on "Intelligent Systems". Proceedings. 2004. Vol. 1. № 1. P. 40-44.
Karpathy A. The Unreasonable Effectiveness of Recurrent Neural Networks // Andrej Karpathy blog. 21.05.2015. URL: http://karpathy.github.io/2015/05/21/ rnn-effectiveness.
Klowait N. A Conceptual Framework for Researching Emergent Social Orderings in Encounters with Automated Computer-Telephone Interviewing Agents // International Journal of Communication and Linguistic Studies.
2017. Vol. 15. № 1. P. 19-37.
Klowait N. A. Technogenic Institutional Talk in an Automated Computer-Telephone Interviewing System // Asian Journal of Information Technology. 2017. № 16. P. 24-31.
Klowait N. The Quest for Appropriate Models of Human-Likeness // AI & Society.
2018. Vol. 33. № 4. P. 527-536.
Larson Q. A Warning from Bill Gates, Elon Musk, and Stephen
Hawking // freeCodeCamp. 18.02.2017. URL: http://medium.freecodecamp. org/bill-gates-and-elon-musk-just-warned-us-about-the-one-thing-politicians-are-too-scared-to-talk-8db9815fd398. Levinovitz A. The Mystery of Go, the Ancient Game That Computers Still Can't Win // Wired. 05.12.2014. URL: http://wired.com/2014/05/ the-world-of-computer-go. Mahendran A., Vedaldi A. Visualizing Deep Convolutional Neural Networks Using Natural Pre-images // International Journal of Computer Vision. 2016. Vol. 120. № 3. P. 233-255. Manyika J., Lund S., Chui M. et al. Jobs Lost, Jobs Gained: Workforce Transitions
in a Time of Automation (Executive Summary) // McKinsey Global Institute. December 2017. URL: http://mckinsey.com/~7media/McKinsey/Featured%020 Insights/Future%o20of%o20Organizations/What%o20the%o20future%o20of%>20 work%o20will%o20mean%o20for%o20jobs%o20skills%o20and%o20wages/MGI-Jobs-Lost-Jobs-Gained-Executive-summary-December-6-2017.ashx. Nguyen A., Dosovitskiy A., Yosinski J., Brox T., Clune J. Synthesizing the
Preferred Inputs for Neurons in Neural Networks Via Deep Generator Networks // ArXiv.org. 30.05.2016. URL: http://arxiv.org/abs/1605.09304. Oran O. Rich and Powerful Warn Robots Are Coming for Your Jobs // Reuters. 04.05.2016. URL: http://reut.rs/1NU89SN.
Ovenden J. Why The Legal Profession Is Turning To Machine Learning // Innovation Enterprise. 25.01.2017. URL: http://channels.theinnovationenterprise.com/ articles/why-the-legal-profession-is-turning-to-machine-learning.
Pooler M. Amazon Robots Bring a Brave New World to the Warehouse // Financial Times. 25.08.2017. URL: http://ft.com/content/916b93fc-87i6-ne7-8bbi-5ba57d47effy.
Silver D., Schrittwieser J. et al. Mastering the Game of Go Without Human Knowledge // Nature. 2017. Vol. 550. № 7676. P. 354-359.
The Future of Jobs. Employment, Skills and Workforce Strategy for the Fourth Industrial Revolution (Executive Summary) // World Economic Forum. January 2016. URL: http://www3.weforum.org/docs/WEF_FOJ_Executive_ Summary_Jobs.pdf.
The Future of Jobs. Employment, Skills and Workforce Strategy for the Fourth
Industrial Revolution (Global Challenge Insight Report) // World Economic Forum. January 2016. URL: http://www3.weforum.org/docs/WEF_Future_of_ Jobs.pdf.
Vinyals O., Toshev A., Bengio S., Erhan D. Show and Tell: A Neural Image Caption Generator // ArXiv.org. 17.11.2014. URL: http://arxiv.org/abs/1411.4555.
Walsh T. Will Robots Bring About the End of Work? // The Guardian. 01.10.2017. URL: http://theguardian.com/science/political-science/2017/oct/01/ will-robots-bring-about-the-end-of-work.
Wu Y., Schuster M. et al. Google's Neural Machine Translation System // ArXiv.org. 26.09.2016. URL: http://arxiv.org/abs/1609.08144.
Zahidi S., Leopold T. What Is the Future of Your Job? // World Economic Forum. 18.01.2016. URL: http://weforum.org/agenda/2016/01/ what-is-the-future-of-your-job.
80 joroc•tom 29 • #1•2019
WORK IN THE AGE OF INTELLIGENT MACHINES: THE RISE OF INVISIBLE AUTOMATION
Nils Klowait. Senior Research Fellow, International Center for Contemporary Social Theory (MSSES), nils.klowait@gmail.com.
Moscow School of Social and Economic Sciences (MSSES), 82 Vernadskogo ave., Bldg 1, 119571 Moscow, Russia.
Maria Erofeeva. Senior Research Fellow, International Center for Contemporary Social Theory (MSSES); Research Fellow, erofeeva-ma@ranepa.ru. Russian Presidential Academy of National Economy and Public Administration (RANEPA), 84 Vernadskogo ave., 119571 Moscow, Russia.
Keywords: artificial intelligence; neural networks; mess; automatization; professional occupations; dramatization; Erving Goffman; social visibility; labor market dynamics.
The article analyzes how an emerging form of automation may drastically transform contemporary employment dynamics. Recent breakthroughs in the field of artificial intelligence (AI) make it possible to automate both manual and mental non-standard tasks. The first part of the article traces the development of AI. Whereas classical algorithms required the creation of a hermetic environment for AI to thrive, modern neural network-based AI is capable of surviving in the chaotic realm occupied by humans. Based on an analysis of changes in the nature of AI, the authors distinguish between substitutive and supplemental automation. The former refers to a complete replacement of humans by machines, while the latter indicates a selective substitution of humans in specific professional functions.
In order to conceptualize professions as a nexus of automatable components, the authors employ Goffman's dramaturgical framework. Goffman studied the social visibility of professional activity. Goffman held that any profession can be divided into invisible routines that are fundamental to it and a dramatization that makes the profession socially visible. The article demonstrates that the current utopian and anti-utopian views of automation both reduce work to its visible components and neglect the logic of supplemental automation. The authors argue that the targets of modern automation are not the socially visible components but the invisible routines. In the final section, the authors develop a model that takes these invisible professional routines into account and analyze what effect this new type of automation may have on different types of professions with differing degrees of social visibility.
DOI: 10.22394/0869-5377-2019-1-53-80
References
Aletras N., Tsarapatsanis D., Preotiuc-Pietro D., Lampos V. Predicting Judicial Decisions of the European Court of Human Rights. PeerJ Computer Science, 2016, vol. 2. Available at: http://peerj.com/articles/cs-93/. Autor D. H., Levy F., Murnane R. J. The Skill Content of Recent Technological
Change. The Quarterly Journal of Economics, 2003, vol. 118, no. 4. P. 12791333.
Bojarski M., Yeres P., Choromanska A., Choromanski K., Firner B., Jackel L., Muller U. Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car. ArXiv.org, April 25, 2017. Available at: http://arxiv.org/ abs/1704.07911.
Borowiec S. AlphaGo Seals 4-1 Victory over Go Grandmaster Lee Sedol. The Guardian, March 15, 2016. Available at: http://theguardian.com/technology/2016/ mar/15/googles-alphago-seals-4-1-victory-over-grandmaster-lee-sedol.
Civil Law Rules on Robotics (debate). European Parliament Debates, February 15,
2017. Available at: http://europarl.europa.eu/sides/getDoc.do?type=CRE&refe rence=20170215&secondRef=ITEM-014&language=EN.
Delvaux M. Report with Recommendations to the Commission on Civil Law Rules on Robotics. European Parliament, January 27, 2017. Available at: http://euro-parl.europa.eu/sides/getDoc.do?pubRef=-//EP//TEXT+REPORT+A8-2017-0005+0+DOC+XML+V0//EN.
Dunlop T. If Humans Are No Longer the Smartest Creatures on the Planet, We Can Reimagine Our Lives. The Guardian, June 1, 2017. Available at: http://the-guardian.com/sustainable-business/2017/jun/01/if-humans-are-no-longer-the-smartest-creatures-on-the-planet-we-can-reimagine-our-lives.
Elliott L. Robots Will Take Our Jobs. We'd Better Plan Now, Before It's Too Late. The Guardian, February 1, 2018. Available at: http://theguardian.com/commentis-free/2018/feb/01/robots-take-our-jobs-amazon-go-seattle.
Erofeeva M. A. Liudi i/ili tekhnologii? Relevantnost' material'nykh ob»ektov v pov-sednevnom vzaimodeistvii [People and/or Technologies? The Relevance of Material Objects for Everyday Interaction]. Sotsiologiia nauki i tekhnologii [Sociology of Science and Technology], 2015, vol. 6, no. 4, pp. 140-153.
Experience is everything. The Future of Customer Experience Report 2017-2018. PricewaterhouseCoopers. Available at: http://pwc.to/2FvLwAL.
Frey C. B., Osborne M. A. The Future of Employment. Technological Forecasting and Social Change, 2017, vol. 114. P. 254-280.
From Not Working to Neural Networking. The Economist, June 25, 2016. Available at: http://economist.com/special-report/2016/06/25/from-not-working-to-neu-ral-networking.
Gatys L. A., Ecker A. S., Bethge M. A Neural Algorithm of Artistic Style. ArXiv.org, August 26, 2015. Available at: http://arxiv.org/abs/1508.06576.
Goffman E. Predstavlenie sebia drugim v povsednevnoi zhizni [The Presentation of Self in Everyday Life], Moscow, Kanon-press-Ts, Kuchkovo pole, 2000.
Goos M., Manning A. Lousy and Lovely Jobs: The Rising Polarization of Work in Britain. Review of Economics and Statistics, 2007, vol. 89, no. 1. P. 118-133.
Grewal D., Roggeveen A.L., Nordfalt J. The Future of Retailing. Journal of Retailing, 2017, vol. 93, no. 1. P. 1-6.
Hall R. Ready for Robot Lawyers? How Students Can Prepare for the Future of Law. The Guardian, July 31, 2017. Available at: http://theguardian.com/law/2017/ jul/31/ready-for-robot-lawyers-how-students-can-prepare-for-the-future-of-law.
Hassabis D., Silver D. AlphaGo Zero: Learning from Scratch. Google DeepMind blog, October 18, 2017. Available at: http://deepmind.com/blog/alphago-zero-learn-ing-scratch.
Johnson J., Karpathy A., Fei-Fei L. Fully Convolutional Localization Networks for Dense Captioning. ArXiv.org, November 24, 2015. Available at: http://arxiv. org/abs/1511.07571.
Kaikhah K. Automatic Text Summarization with Neural Networks. 2004 Second International IEEE Conference on "Intelligent Systems". Proceedings, 2004, vol. 1, no. 1. P. 40-44.
Karpathy A. The Unreasonable Effectiveness of Recurrent Neural Networks.
Andrej Karpathy blog, May 21, 2015. Available at: http://karpathy.github. io/2015/05/21/rnn-effectiveness.
Klowait N. A Conceptual Framework for Researching Emergent Social Orderings in Encounters with Automated Computer-Telephone Interviewing Agents. International Journal of Communication and Linguistic Studies, 2017, vol. 15, no. 1. P. 19-37.
Klowait N. A. Technogenic Institutional Talk in an Automated Computer-Telephone Interviewing System. Asian Journal of Information Technology, 2017, no. 16. P. 24-31.
Klowait N. Refleksivnyi antropomorfizm: nevedenie ontologii ili nevezhestvennaia ontologiia? [Reflexive Anthropomorphism: Ontological Ignorance, or Ignorant Ontology?]. Sotsiologicheskii zhurnal [Sociological Journal], 2018, vol. 1, no. 24, pp. 8-33.
Klowait N. The Quest for Appropriate Models of Human-Likeness. AI & Society, 2018, vol. 33, no. 4. P. 527-536.
Larson Q. A Warning from Bill Gates, Elon Musk, and Stephen Hawking. freeCodeCamp, February 18, 2017. Available at: http://medium.freecodecamp.org/ bill-gates-and-elon-musk-just-warned-us-about-the-one-thing-politicians-are-too-scared-to-talk-8db9815fd398.
Latour B. Gde nedostaiushchaia massa? Sotsiologiia odnoi dveri [Where Are the
Missing Masses? The Sociology of a Door]. Sotsiologiia veshchei [Sociology of Things] (ed. V. S. Vakhshtayn), Moscow, Territoriia budushchego, 2006, pp. 199-222.
Law J. Posle metoda: besporiadok i sotsial'naia nauka [After Method: Mess in Social Science Research], Moscow, Izdatel'stvo Instituta Gaidara, 2015.
Levinovitz A. The Mystery of Go, the Ancient Game That Computers Still Can't Win. Wired, December 5, 2014. Available at: http://wired.com/2014/05/the-world-of-computer-go.
Mahendran A., Vedaldi A. Visualizing Deep Convolutional Neural Networks Using Natural Pre-images. International Journal of Computer Vision, 2016, vol. 120, no. 3. P. 233-255.
Manyika J., Lund S., Chui M. et al. Jobs Lost, Jobs Gained: Workforce Transitions in a Time of Automation (Executive Summary). McKinsey Global Institute, December 2017. Available at: http://mckinsey.com/~7media/McKin-sey/Featured%20Insights/Future%20of%20Organizations/What%20the%20 future%o20of%o20work%o20will%o20mean%o20for%o20jobs%o20skills%o20and%o20 wages/MGI-Jobs-Lost-Jobs-Gained-Executive-summary-December-6-2017. ashx.
Nguyen A., Dosovitskiy A., Yosinski J., Brox T., Clune J. Synthesizing the Preferred
Inputs for Neurons in Neural Networks Via Deep Generator Networks. ArXiv. org, May 30, 2016. Available at: http://arxiv.org/abs/1605.09304.
Nikolenko S. I., Kadurin A. A., Arkhangel'skaia E. O. Glubokoe obuchenie. Pogruz-
henie v mir neironnykh setei [Deep Learning. Diving into the World of Neural Networks], Saint Petersburg, Piter, 2018.
Oran O. Rich and Powerful Warn Robots Are Coming for Your Jobs. Reuters, May 4, 2016. Available at: http://reut.rs/1NU89SN.
Ovenden J. Why The Legal Profession Is Turning To Machine Learning. Innovation Enterprise, January 25, 2017. Available at: http://channels.theinnovationenter-prise.com/articles/why-the-legal-profession-is-turning-to-machine-learning.
Pooler M. Amazon Robots Bring a Brave New World to the Warehouse. Financial Times, August 25, 2017. Available at: http://ft.com/content/916b93fc-8716-ne7-8bbi-5ba57d47effy.
Priazhnikova O. N. Budushchee trudovoi deiatel'nosti: zaniatost', navyki i kar'ernaia strategiia v usloviiakh Chetvertoi promyshlennoi revoliutsii [The Future of Jobs: Employment, Skills and Workforce Strategy for the Fourth Industrial Revolution]. Sotsial'nye i gumanitarnye nauki. Otechestvennaia i zarubezhnaia literatura. Seriia 2: Ekonomika. Referativnyi zhurnal [Social Sciences and Humanities. Domestic and Foreign Literature. Series 2: Economics. Abstract Journal], 2017, no. 1, pp. 139-143.
Silver D., Schrittwieser J. et al. Mastering the Game of Go Without Human Knowledge. Nature, 2017, vol. 550, no. 7676, pp. 354-359.
The Future of Jobs. Employment, Skills and Workforce Strategy for the Fourth Industrial Revolution (Executive Summary). World Economic Forum, January 2016. Available at: http://www3.weforum.org/docs/WEF_FOJ_Executive_Summary_ Jobs.pdf.
The Future of Jobs. Employment, Skills and Workforce Strategy for the Fourth Industrial Revolution (Global Challenge Insight Report). World Economic Forum, January 2016. Available at: http://www3.weforum.org/docs/WEF_Future_of_ Jobs.pdf.
Vakhshtayn V. S. Peresborka povsednevnosti: bespilotniki, lifty i proekt PkM-1 [Reassembling the Everyday: Drones, Elevators, and the MT-1 Project]. Logos. Filosofsko-literaturnyi zhurnal [Logos. Philosophical and Literary Journal], 2017, vol. 27, no. 2, pp. 1-48.
Vinyals O., Toshev A., Bengio S., Erhan D. Show and Tell: A Neural Image Caption Generator. ArXiv.org, November 17, 2014. Available at: http://arxiv.org/ abs/1411.4555.
Walsh T. Will Robots Bring About the End of Work? The Guardian, October 1, 2017. Available at: http://theguardian.com/science/political-science/2017/oct/01/ will-robots-bring-about-the-end-of-work.
Wu Y., Schuster M. et al. Google's Neural Machine Translation System. ArXiv.org, September 26, 2016. Available at: http://arxiv.org/abs/1609.08144.
Zahidi S., Leopold T. What Is the Future of Your Job? World Economic Forum, January 18, 2016. Available at: http://weforum.org/agenda/2016/01/what-is-the-future-of-your-job.
84 joroc•tom 29 • #1•2019
