CC BY
30СУЩЕСТВУЕТ ЛИ ПРОБЛЕМА СЛЕДОВАНИЯ ПРАВИЛУ ДЛЯ СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА?*
В.А. Ладов
В данной статье обсуждается проблема следования правилу в отношении к операциональной деятельности систем искусственного интеллекта. Эта проблема была сформулирована в традиции аналитической философии во второй половине ХХ века. Она заключается в том, что человеческое сознание при осуществлении практических действий оказывается неспособным однозначно установить то правило, в соответствии с которым эта деятельность осуществляется. Главный вопрос, на разрешение которого нацелено исследование, представленное в статье, состоит в следующем: можно ли усомниться в однозначности следования правилам, если рассматривается деятельность не человеческого сознания, а системы искусственного интеллекта?
HAS THE RULE-FOLLOWING PROBLEM A SIGNIFICANCE FOR ARTIFICIAL INTELLIGENCE SYSTEMS?
V.A. Ladov
The rule-following problem and artificial intelligence systems are discussed in the article. This problem was formulated in tradition of analytic philosophy in the second half of the twentieth century. It consists in assertion that human consciousness is incapable to definite rules of one’s activity in a exact way. What about artificial intelligence? Can we say that artificial intelligence system is incapable to definite rules of one’s activity too? Author of the article tries to answer the question.
Однажды известный философ-аналитик М. Даммит обмолвился: «Однако положим, что обучение давалось не только на примере, но обучаемому предоставлялась эксплицитная формулировка правила счета арабских чисел. Машина может следовать этому правилу. С чего вдруг человек обретает свободу воли в этом вопросе, если машина ею не обладает?» [1, с. 172]. Нигде больше Даммит, занятый в данной работе интерпретацией философского наследия Л. Витгенштейна, не заводит
* Статья написана при поддержке РФФИ. Грант № 06-06-80003а.
20 • • • Гуманитарная информатика. Вып. 3. • • •
разговора о сравнении человеческого сознания и машинного интеллекта. Тем не менее в этом кратком пассаже оксфордскому философу удалось затронуть очень интересную проблему, которая уже выходит за рамки витгенштейноведческих дискуссий и предстает как одна из актуальных тем философии искусственного интеллекта. Способна ли машина следовать правилу? Не поторопился ли Даммит с утвердительным ответом на этот вопрос?
В рассмотрении этого вопроса будем последовательны и поясним для начала, что значит следовать правилу и в чем, собственно, здесь можно обнаружить проблему. О понятии правила в связи с понятием значения языкового выражения впервые заговорил Л. Витгенштейн в своих работах по философии математики [2, 3], а также в главном своем сочинении, подводящем итог позднему периоду его творчества - Философских исследованиях [4]. Автор этих работ утверждал, что знать значение языкового выражения - значит знать правило его употребления в лингвистической практике. Затем Витгенштейн сформулировал то эпистемологическое затруднение, которое впоследствии и было названо проблемой следования правилу. Он заявил, что невозможно зафиксировать однозначные связи конкретных употреблений языковых выражений и тех правил, в соответствии с которыми эти употребления осуществляются. С одной стороны, употребление выражения может быть подведено под различные правила, а с другой стороны, одно и то же правило может быть проиллюстрировано совершенно различными случаями употребления языковых выражений. Одним из самых часто цитируемых пассажей, где Витгнештейн формулирует данное эпистемологическое затруднение, является § 201 Философских исследований:
«Наш парадокс был таким: ни один образ действий не мог бы определяться каким-то правилом, поскольку любой образ действий можно привести в соответствие с данным правилом. Ответом служило: если все можно привести в соответствие с данным правилом, то все может быть приведено и в противоречие с этим правилом. Поэтому тут не было бы ни соответствия, ни противоречия» [4, с. 163]. Возникает радикальная скептическая проблема: употребляя то или иное выражение языка, мы не может быть уверенными в том, какому правилу для употребления мы следуем, а это, в свою очередь, значит, что мы не знаем, в каком смысле, с каким значением мы употребляем данное выражение в реальной лингвистической практике.
Если привести какой-либо конкретный пример описанной скептической проблемы, то лучше всего обратиться к С. Крипке [5] - этому американскому логику удалась, пожалуй, самая демонстративная интерпретация витгенштейновской мысли. Крипке привел очень интересные,
интригующие примеры, показывающие наличие данной проблемы, что называется, на практике.
Когда некто Джонс решает арифметическую задачу 68+57=?, можем ли мы быть уверены, что он выдаст ответ 125? Он, конечно же, может просто совершить ошибку в вычислении функции сложения. Но что если он под знаком «+» подразумевает не функцию плюс, а, скажем, функцию квус, значение которой фиксируется в правиле: проводи вычисление по функции квус аналогично вычислениям по функции плюс до тех пор, пока в области определения этой функции не появятся числа, равные или большие, чем 57. В этих случаях всегда выдавай ответ 5. Таким образом, если Джонс на вопрос 68+57=? выдал ответ 5, это может означать не просто ошибку вычисления, как мы обычно думаем, но более сложную эпистемологическую ситуацию: Джонс просто может подразумевать под «+» иное значение, нежели то, к которому привыкли мы, и тогда его действие вычисления нельзя будет квалифицировать как заблуждение.
Основная причина, по которой возникают такие странные эпистемологические затруднения, состоит в том, что знакомство с правилами (значениями) происходит последовательно, в реальных практиках употребления, за конечное число шагов и потому не обеспечивает схватывание правила во всей полноте. Ученик, который по настоянию учителя осуществил определенное количество действий сложения и получил устраивающий учителя результат, был квалифицирован как освоивший данную арифметическую операцию. Однако примера, где бы в области определения функции фигурировали числа 57 и больше, ученик еще ни разу не выполнял, и мы, исходя из вышесказанного, не имеем основания для уверенности в том, что он выдаст ответ 125. Это означает, что когда ученик выполняет самое элементарное вычисление, скажем 2+2=4, учитель, знакомый с витгенштейновской проблемой, будет отдавать себе отчет, что он, на самом деле, не знает, какому правилу в данном случае следует ученик, употребляя знак «+», ибо правила плюса и квуса в данном случае оказываются совершенно неразличимы. Положение нельзя поправить и более радикальным действием - попыткой задать общее определение правила, не ориентируясь на примеры. Допустим, учитель скажет, что, осуществляя действие по правилу сложения, бери две группы предметов, пересчитывай каждую из них в соответствии с десятичной системой счисления, объединяй их в единую группу и снова пересчитывай их. Далее учитель сделает одно решающее дополнение, он скажет: и поступай так во всех возможных случаях вычисления, когда хочешь применить данную функцию. Здесь возникнет проблема с квантором всеобщности, с интерпретацией значения слова «все». Значение
этого слова было усвоено учеником на конечных примерах его употребления, и потому нет гарантии его однозначного толкования на протяжении дальнейших, не производимых ранее вычислительных действий.
Рассуждение Крипке легко распространить с области математики на всю сферу лингвистических выражений, употребляемых нами в повседневности. В своем сознании я схватываю определенное мыслительное образование в качестве содержания понятия “стол”. Это содержание раскрывается в дефиниции: стол - это плоская горизонтальная поверхность, закрепленная на опорах, высотой в половину человеческого роста, предназначение которой состоит в создании надлежащего комфорта при приеме пищи. Допустим далее, что я фиксирую в сознании еще одно мыслительное образование - понятие цтол. Его дефиниция такова: цтол - это плоская горизонтальная поверхность, закрепленная на опорах, предназначение которой состоит в создании надлежащего комфорта при приеме пищи. Спрашивается, какое из этих двух понятий я подразумеваю в случае конкретного употребления слова «стол»? Что обозначает слово «стол» - стол или ‘цтол’?
Если представить себе ситуацию, что мой прошлый конечный опыт познания ограничивался только созерцанием предметов указанной конфигурации высотой в половину человеческого роста, то я смогу констатировать, что мое прошлое употребление слова «стол» соответствовало сразу двум понятиям. Стол и цтол были до сих пор не различимы.
Однажды я оказываюсь в Японии, знакомлюсь с традициями и бытом людей этой страны. Когда я вижу тот предмет, который является центральным в процессе трапезы в японской семье, я отказываюсь его именовать по-русски «столом», ибо по виду он совсем не похож на те предметы, на которые я привык указывать, употребляя это слово.
В этот момент возникает скептик и спрашивает меня: «Ты уверен, что не совершаешь ошибки, что следуешь именно тому правилу употребления данного термина, которым ты руководствовался раньше?» Если я отвечу утвердительно, скептик продолжит: «Твоя уверенность основана, во-первых, на том, что в прошлом ты отчетливо понимал, в каком значении ты употреблял данный термин, и, во-вторых, на том, что сейчас ты отдаешь себе отчет, что употребляешь данный термин в том же значении, что и раньше». Тем не менее на основании дефиниций обсуждаемых понятий можно утверждать, что в прошлом опыте употребления данного слова ему соответствовало, по крайней мере, два значения - стол и цтол. Почему ты теперь уверен в том, что употребляешь слово «стол» в значении стол, а не цтол? Ничто из твоего предыдущего опыта не запрещает предположить обратное. Но как только ты сделаешь это, как только предположишь, что слово «стол» обозначало в
прошлом цтол, тут же твое нынешнее употребление данного слова по отношению к центральному атрибуту японской трапезы перестанет квалифицироваться как ошибка. Ты должен будешь признать, что употребляешь сейчас данный термин вполне корректно, в соответствии со своим предыдущим языковым опытом.
В итоге, мы имеем следующее. Если правомерно утверждение, что данное конкретное употребление слова одновременно допускает в качестве значения, по крайней мере, два понятия, то оказывается невозможным зафиксировать соответствие или несоответствие этого употребления предыдущему языковому опыту. Употребление слова оказывается «слепым» действием, произнесением наугад. Слово не имеет никакого фиксированного значения. Я не могу обнаружить в пределах моей ментальной жизни такое образование, которое я бы мог связать с данным словом в качестве его значения.
В приведенных выше примерах можно заметить некоторую двусмысленность. Дело в том, что проблема следования правилу может быть сформулирована на двух уровнях - семантическом и синтаксическом. С одной стороны, речь идет о проблеме неопределенности значений языковых выражений - и это семантическая проблема. С другой же стороны, затруднение в следовании правилу может обернуться проблемой и для формального, синтаксического оперирования даже с семантически не нагруженным регионом объектов. Ниже последовательно рассмотрим, как эти два аспекта проблемы проявляются в отношении прояснения специфики работы систем искусственного интеллекта.
Что касается семантического аспекта проблемы следования правилу, то здесь рассуждения Крипке очень похожи на ту систему контраргументации, которую выдвинули некоторые аналитические философы во главе с Д. Деннетом [6, 7, 8] против знаменитого аргумента Д. Серла [9] «Китайская комната», обосновывающего неспособность искусственных технических систем к осуществлению мыслительной деятельности.
Суть аргумента Серла сводилась к следующему. Допустим, человека, владеющего только английским, помещают в изолированную от внешнего мира комнату и предоставляют ему для чтения текст на китайском. Естественно, ввиду того, что он не имеет ни малейшего представления о значении китайских иероглифов, текст оказывается для него набором чернильных закорючек на листе бумаги - человек ничего не понимает. Затем ему дают еще один лист бумаги, исписанный по-китайски, и в придачу к этому определенную инструкцию на родном ему английском о том, как можно было бы сравнить два китайских текста. Эта инструкция научает выявлению тождественных символов и определению закономерности их вхождения в более общий контекст.
Когда приносят третий китайский текст, к нему прилагают вторую английскую инструкцию о сравнении последнего с двумя предыдущими и т. д. В итоге, после продолжительных упражнений испытуемому приносят чистый лист бумаги и просят что-нибудь написать по-китайски. К этому времени человек из китайской комнаты настолько хорошо освоил формальные символические закономерности, что, на удивление, действительно оказался способным написать вполне связный и понятный любому грамотному китайцу текст. Ну и наконец, чтобы произвести должный эффект, человека выводят из комнаты на обозрение широкой публике и представляют как англичанина, изучившего китайский, что сам виновник презентации не замедлит подтвердить своим безукоризненным знанием иероглифического письма.
Так понимает ли наш испытуемый китайский? Серл дает категорически отрицательный ответ на этот вопрос. Понимание должно сопровождаться актами первичной интенциональности, в которых сознание, еще до всякого обращения к каким-либо материальным носителям, т. е. к речи или письму, способно концентрироваться на внутренних интен-циональных содержаниях, как не редуцируемых ни к чему другому фактах автономной психической жизни. Интенциональность языка произ-водна, она возникает при намеренном наделении изначально пустых знаков значением, посредством замещения внутреннего интенциональ-ного содержания пропозициональным содержанием синтаксически организованных структур.
У общественности, которая оценивала результаты обучения человека из китайской комнаты, возникла иллюзия того, что экзаменуемый действительно овладел китайским. Причина этой иллюзии кроется в той привычке, в соответствии с которой люди предположили за пропозициональными содержаниями продуцированных человеком синтаксических форм его внутренние интенциональные содержания, явившиеся основой первых. Но на деле обучение в китайской комнате принесло прямо противоположные результаты. Человек научился формальным операциям со знаковой системой без какого-либо собственного «интенционального участия» в этом предприятии. Пропозициональные содержания представленного на обозрение китайского письма имели смысл только для тех, кто действительно мог подкрепить их более фундаментальными интенциональными содержаниями своей психики. Человек из китайской комнаты сам не понял ничего из того, что написал.
По мысли Серла, действия испытуемого англичанина полностью аналогичны работе ИИ. Искусственный интеллект, несмотря ни на какие интенсификации в сфере технологий, никогда не сможет достичь уровня человеческого сознания именно из-за невозможности преодо-
леть фундаментальный разрыв между первичной и производной интен-циональностями. С помощью специальных программ, настраивающих на формальное оперирование символическими образованиями, ИИ может создавать иллюзию мощнейшей мыслительной активности, многократно превышающей способности человеческого сознания. Результаты такой деятельности ИИ оказываются в самом деле чрезвычайно полезными для человека. И тем не менее у нас нет никаких оснований тешить себя иллюзией существования «братьев по разуму». ИИ не мыслит. Всю работу по содержательному наполнению пустых символических структур берет на себя человек, «прикрепляя» последние к внутренним ин-тенциональным содержаниям - подлинным элементам разумной жизни.
Деннет соглашается с тем, что ИИ не обладает первичными интен-циональными содержаниями. Однако далее, в отличие от Серла, он, как апологет ИИ, делает совершенно своеобразный ход. Он утверждает, что человек подобен ИИ - он тоже не обладает первичной интенционально-стью.
Возьмем, вслед за Деннетом, в качестве примера обычную 25-центовую монетку. Что есть интенциональное содержание? По сути, это тот смысл, который мы приписываем предмету. Серл будет утверждать, что вот эта вещь для человека с очевидностью будет выступать интенцио-нально как четвертак, таков ее смысл - это американская монета достоинством в 25 центов. И человек может удерживать этот смысл в своем переживании с ясностью и отчетливостью.
Однако контрпримеры не заставят себя долго ждать. Туземец, далекий от понятия о деньгах, но восхищенный прочностью вещи и ее эстетической привлекательностью (блестящая, идеально круглая), будет демонстрировать ее сородичам в качестве магического талисмана, дающего ему, скажем, какие-то новые силы и существенное превосходство над остальными. Если мы дадим эту вещь любому ребенку, который также еще не имеет понятия о деньгах, мы увидим, какое новое применение он найдет для нее - допустим, он поставит монету на ребро и будет катать ее, представляя колесо, и т.д.
Эти примеры показывают то, что сама вещь не имеет никакого смысла. Она является только знаком, за которым именно мы сами обнаружим какие-либо значения. Но из вышесказанного видно, что значений у этого знака может быть много. Данный предмет может стать и монетой, и талисманом, и детской игрушкой. Спрашивается, что представляет собой его корректное, правильное значение? Что я должен иметь в виду, какое интенциональное содержание, обращаясь в чувственном опыте к данной вещи? Очевидно, что интенциональное содержание будет зависеть от контекста, от той общей смысловой ситуации, в которую
помещен познающий. Значение вещи, как и значение знака в языке, подвержено, по словам Д. Фодора [10] - еще одного американского мыслителя, обращающегося к данной проблематике, - некоему диссипативному распаду, оно представляет собой дизъюнктивный ряд ad infinitum. И в силу конечности нашего познавательного аппарата весь этот ряд мы не в силах удержать во внимании.
Проблема следования правилу, взятая в семантическом аспекте, говорит, по сути, то же самое. Один и тот же объект можно наделить различными значениями, одно и то же слово можно подвести под разные правила употребления. Все эти возможные семантические ходы мы зафиксировать не в состоянии. Единственное, что нам остается, ориентироваться на коммуникативную ситуацию. Если я подаю через прилавок монету достоинством в 50 копеек и получаю в ответ от продавца коробок спичек, значит, данное сообщество активирует вот этот «дизъюнктивный фрагмент» значения данного объекта - сейчас это монета. Но, будучи знакомыми с вышеописанной проблематикой, мы уже не будем тешить себя надеждой на то, что постигли окончательный стабильный смысл этой вещи во всей полноте.
Семантический аспект проблемы следования правилу апологизиру-ет деятельность искусственного интеллекта. Мыслить - это не значит схватывать внутренние смысловые содержания вещей. Мыслить - это значит совершать операциональные действия с объектами по определенным алгоритмам. А ведь на это уже вполне способны, порой, превосходя самого человека, известные нам современные системы искусственного интеллекта. Семантический анархизм может поставить в тупик человека. Для компьютера здесь нет никакой проблемы, ибо никакой семантики в нем никогда не было.
Но кроме семантического, существует еще и синтаксический аспект проблемы следования правилу. Пусть мы исключаем семантику, пусть объекты, с которыми мы производим операциональные действия, представляют лишь пустые символы и для нас ничего не значат. Но ведь это синтаксическое оперирование все же нуждается в алгоритмах, в правилах совершения операций, и эти правила нужно ведь как-то интерпретировать, уяснить, чтобы оказаться способным следовать им. Таким образом, проблема возникает на новом уровне - на уровне, если так можно выразиться, семантики синтаксиса. И вот этот уровень проблемы уже затрагивает не только человеческое сознание, но и искусственный интеллект. Как бы Д. Деннет ни желал избавить исследования по ИИ от псевдопроблемы понимания символов, он все же должен признать, что эта проблема всплывает вновь на уровне интерпретации алгоритмов оперирования пустыми символами.
В этом смысле математический пример С. Крипке оказывается универсальным. Его можно использовать и как обоснование скепсиса понимания символа «+» и выводить отсюда скепсис относительно семантики, но сам этот символ при этом призван обозначать синтаксическую, алгоритмическую процедуру оперирования с объектами - числами. Мы можем, согласившись с Серлом и Деннетом, сказать, что машина не понимает, что имеет дело с числами, но она должна каким-то образом фиксировать алгоритмическую процедуру оперирования с этими пустыми для себя объектами. И если фиксация значения правила сложения оказывается проблематичной, что и показал Крипке, то, очевидно, скепсис в отношении следования правилу затрагивает и работу технической системы, так как указывает на принципиальную неясность алгоритма оперирования.
Можем ли мы быть уверены в том, что система искусственного интеллекта производит вычисление 5+5=10 по правилу сложения? Не сыграл ли с нами здесь программист злую шутку, вложив в качестве софта в машину функцию квожения? Тогда сможем ли мы сказать, что ответ 5 на вопрос 68+57=? был ошибкой, сбоем в работе машины? Между прочим, такая ситуация не выглядит уж слишком фантастичной. Известно, например, что уже спустя год после серийного выпуска процессора «Пентиум-1» в нем были обнаружены ошибки деления больших чисел, случайно (!) замеченные математиками. И эти ошибки возникали не из-за электрических сбоев в работе «железа», а именно из-за неверной программной «начинки» устройства. Данный процессор в течение года действовал по алгоритму, который не был делением, хотя все вокруг были убеждены, что это именно так. Разве это не аналогично проблемной ситуации с вычислением 2+2=4, когда скептик спрашивает, уверены ли вы, какая именно функция подразумевается под «+»? И в этом смысле, имеет ли право математик, обнаруживший ошибку процессора, квалифицировать ее именно как ошибку, как появление сбоя в работе устройства, а не как исполнение иной функции?
Что является причиной неопределенности следования правилу? На этот счет имеется слабый и сильный тезисы, оба из которых можно обнаружить у Крипке [5, с. 79], причем сам американский логик не до конца отдает себе отчет, что здесь должно выступать в качестве основания. Слабый тезис гласит, что неопределенность в следовании правилу возникает из-за возможного существования наряду со стандарт-правилом множества дефект-правил, которые не поддаются перманентной фиксации, но могут неожиданно «всплыть» на любом шаге следования. Сильный тезис настаивает на том, что дефект-правила не при чем. Главное - это неопределенность самого стандарт-правила. Дело не
в том, что где-то рядом с правилом сложения существует еще и фантомное квожение, готовое вторгнуться в последовательное осуществление алгоритма; дело в том, что само правило сложения до конца не определено.
Выше приведен пример проблемной ситуации в деятельности системы ИИ на основе слабого тезиса неопределенности следования правилу. Но есть и те, кто утверждает проблему для ИИ с точки зрения сильного тезиса. Например, П. Ван Инваген полагает, что знак «+» на калькуляторе вообще помещен некорректно [11, с. 145], ибо данная техническая система не осуществляет сложения, она осуществляет только сегмент сложения с ограниченной разрядностью. Мы же пытаемся подразумевать под «+» сложение - бинарную операцию для любых натуральных чисел. Однако очевидно, что здесь можно сделать обратный ход по отношению к тому, как мы выстраивали аргументацию ранее, и заявить, что эта же претензия может быть предъявлена не только системе ИИ, но и человеку. Человеческое сознание не созерцает во всей всеобщности распространение функции сложения, потому считать, что и мы используем сложение в нашей практике вычисления, строго говоря, нельзя.
Так что же Даммит? Ошибся ли он в своем суждении о том, что машина способна следовать правилу? Кажется, единственная возможность оправдать столь самонадеянное суждение оксфордского философа состоит в том, чтобы полностью исключить из деятельности машины все человеческое, ведь, в конце концов, неопределенность в следовании правилу для человека возникает из-за того, что он, как конечное существо, действует, как предполагается, в бесконечно разнообразном мире, тогда как машина действует в строго ограниченном универсуме. Компьютер может быть запрограммирован всего только на одну операцию и даже только на ее небольшой сегмент. Допустим, что мой карманный калькулятор будет запрограммирован на то, чтобы осуществлять всего одно действие - складывать 2 и 2. В универсуме компьютера, по определению, не может возникнуть никаких фантомных правил. Здесь также не возникает проблемы интерпретации квантора всеобщности для уяснения смысла бесконечной функции. Осуществляемая функция строго конечна. Если машина вдруг выдала ответ 5, то это будет именно сбой в работе устройства, ибо аргументы скептика о возможном появлении здесь квусоподобной функции будут касаться уже работы программиста и человеческого сознания. Это же, кстати, упоминает и Крипке:
«Неопределенное множество программ распространяется на актуальное поведение машины. Обычно это игнорируется, ибо разработчик машины сориентировал ее на выполнение только одной про-
граммы, но в данном контексте такой подход к намерениям разработчика просто дает скептику возможность вклинить сюда нестандартную интерпретацию. (На самом деле, апелляция к программе разработчика делает физическую машину излишней; реально важна только программа...)» [5, с. 37].
Короче говоря, машина может следовать правилу, если из нее извлечь все человеческое, но весь вопрос в том, можно ли это сделать? Ведь дело не только в том, что весь работающий софт закладывается в «кусок железа» человеком-программистом. Нет ничего фантастического в предположении, что в дальнейшем техническое устройство все же выйдет на такой уровень креативности, что будет само продуцировать новые программные элементы. Дело в том, что оценить результаты работы системы ИИ все равно должен будет человек, а значит, возникнет вопрос об интерпретации полученных данных, и эта интерпретация будет снова проводиться силами человеческого сознания. В таком случае неопределенности в следовании правилу появятся вновь. Можно сказать, что проблема следования правилу возникает не собственно в системе ИИ, а в среде интерфейса искусственный интеллект - естественный интеллект, но эта среда является неотъемлемой частью самого ИИ. И в этом смысле можно все же говорить об ошибке Даммита - машинный интеллект имеет те же проблемы с неопределенностью следования правилу, что и человеческое сознание.
ЛИТЕРАТУРА
1. DummittM. Wittgenstein’s Philosophy of Mathematics // Dummitt M. Truth and Other Enigmas. London, 1978.
2. WittgensteinL. Remarks on the Foundation of Mathematics. Oxford, 1978.
3. Wittgenstein L. Wittgenstein’s Lectures on the Foundation of Mathematics, Cambridge 1939. New York, 1976.
4. Витгенштейн Л. Философские исследования // Витгенштейн Л. Философские работы. М., 1994.
5. Крипке С.А. Витгенштейн о правилах и индивидуальном языке. Томск, 2005.
6. Dennett D. Evolution, Error and Intentionaly // Sourcebook on the Foundations of Artificial Intelligence. New Mexico, 1988.
7. Dennett D., Haugeland J. Intentionality // The Oxford Companion to the Mind, in R. L. Gregory, ed. Oxford, 1987.
8. Kober М. Kripkenstein Meets the Chinese Room: Looking for the Place of Meaning from a Natural Point of View // Inquiry. 41 (3). S 98. Р. 317-332.
9. Searle J. Minds, Brains, and Programs // The Philosophy of Artificial Intelligence, in M. Boden, ed. Oxford, 1990.
10. Fodor J. Representations. Cambridge, MA, 1981.
11. Inwagen P. There is No Such Thing As Addition // Midwest Studies in Philosophy, Vol. XVII, Notre Dame, 1992. Р. 138-159.
