Искусственный идиотизм

Проблема новых чатботов состоит не только в том, что они зачастую глупы и наивны; дело в том, что они недостаточно «глупы» или «наивны», чтобы улавливать нюансы, иронию и нарочитые противоречия, которые имеют серьезное значение для человеческой культуры и коммуникации. Хуже того, полагаясь на них, мы рискуем сами оказаться в дураках.

Нет ничего нового в чатботах, которые способны поддерживать разговор на естественном языке, понимать намерения пользователя и предлагать ответы на основе заданных правил и полученных данных. Но в последние месяцы возможности таких чатботов резко возросли до такой степени, что во многих кругах вызвало заламывание рук и даже панику.

Много было сказано, что чатботы означают конец традиционного студенческого эссе. Но вопрос, который требует более пристального внимания, заключается в том, как чатботы должны реагировать, когда собеседники используют агрессивные, сексистские или расистские выражения, чтобы заставить бота сквернословить в ответ. Должен ли ИИ быть запрограммирован отвечать так же, как его спрашивают? Если мы решим, что нужно какое-то регулирование, мы должны определить, насколько далеко должна зайти цензура. Будут ли запрещены политические позиции, которые некоторые группы граждан считают «оскорбительными»? А как насчет выражения солидарности с палестинцами или заявлений о том, что Израиль является государством апартеида (что бывший президент США Джимми Картер однажды включил в название книги)? Будут ли они заблокированы как «антисемитские»?

Но на этом проблемы только начинаются. Как предупреждает художник и писатель Джеймс Бридл, новый ИИ «основан на массовой культурной апроприации», и вера в то, что он «на самом деле обладает знанием или способен осмысленно общаться, очень опасна». Следовательно, мы также должны очень осторожно относиться к новым генераторам изображений ИИ. «Пытаясь понять и воспроизвести всю человеческую визуальную культуру, — замечает Бридл, — [он], кажется, воспроизвел и наши самые мрачные страхи. Возможно, это просто признак того, что данные системы действительно очень хорошо умеют подражать человеческому сознанию, вплоть до того ужаса, который таится в экзистенциальных глубинах: наших страхов перед грязью, смертью и разложением».

Но насколько хорошо новый ИИ приближается к человеческому сознанию? Возьмем бар, который недавно рекламировал специальный напиток со следующими условиями: «Купите одно пиво по цене двух и получите второе абсолютно бесплатно!» Для любого человека это, очевидно, шутка. Классическая акция «купи одно и получи еще одно» переформулирована, чтобы отменить саму себя. Этот юмористический, но честный цинизм для роста продаж. Но поймет ли его чат-бот? Выражение «fuck» представляет аналогичную проблему. Хотя оно обозначает то, что большинству людей нравится делать (совокупление), оно также часто приобретает негативную окраску. Язык и реальность смешаны. Готов ли ИИ улавливать такие различия?

В сочинении 1805 года «О постепенном формировании мыслей в процессе речи» (впервые опубликованном посмертно в 1878 году) немецкий поэт Генрих фон Клейст переворачивает расхожее мнение о том, что не следует открывать рот, чтобы говорить, если у вас нет ясного представления о чем сказать: «Если, стало быть, мысль выражена смутно, то вовсе не следует, что мысль эта была зачата смутно. Наоборот, вполне возможно, что идеи, выраженные наиболее запутанно, как раз и были обдуманы наиболее ясным образом».

Отношения между языком и мышлением чрезвычайно сложны. В одном из выступлений в начале 1930-х годов Сталин предлагает радикальные меры: «выявить и беспощадно бороться даже с теми, кто выступает против коллективизации только в своих мыслях, — да, я имею в виду, мы должны бороться даже с мыслями»[1]. Можно с уверенностью предположить, что эти слова не были подготовлены заранее. Сталин немного увлекся, но сразу же осознал, что он только что сказал. Но вместо того, чтобы признать ошибку, он решил придерживаться своей гиперболы.

Как позже выразился Жак Лакан, это был случай, когда истина неожиданно появляется в акте высказывания. Луи Альтюссер обнаружил аналогичный феномен во взаимоотношении между призом и сюрпризом. Для того, кто вдруг схватывает (получает в качестве приза) идею, ее содержание окажется своего рода сюрпризом. Опять же, может ли подобное случиться с чатботом?

Проблема не в том, что чатботы глупы; дело в том, что они недостаточно «глупы». Дело не в том, что они наивны (отсутствуют ирония и рефлексивность); дело в том, что они недостаточно наивны (когда наивность маскирует проницательность). Таким образом, реальная опасность заключается не в том, что люди примут чатбота за реального человека; дело в том, что общение с чатботами заставит реальных людей говорить как чатботы — упуская все нюансы и иронию, навязчиво говоря только то, что, по их мнению, они хотят сказать.

Когда я был моложе, мой друг обратился к психоаналитику за лечением после травматического опыта. Представления моего друга о том, что именно такие аналитики ожидают от своих пациентов, было откровенным клише, поэтому свой первый сеанс он провел, произнося фальшивые «свободные ассоциации» о том, как он ненавидел своего отца и желал его смерти. Реакция аналитика была изобретательной: он занял наивную «дофрейдистскую» позицию и упрекнул моего друга в неуважении к отцу («Как ты можешь так говорить о человеке, которому ты стольким обязан?»). Эта притворная наивность посылала четкий сигнал: я не покупаюсь на ваши фальшивые «ассоциации». Сможет ли чатбот уловить этот подтекст?

Скорее всего, нет, потому что это похоже на интерпретацию Роуэном Уильямсом князя Мышкина в «Идиоте» Достоевского. Согласно стандартному прочтению, Мышкин, «идиот», — это святой, «положительно хороший и красивый человек», которого жестокость и несправедливость реального мира доводят до одиночества и безумия. Но в радикальном перепрочтении Уильямсом Мышкин представляет собой «глаз бури»: каким бы добрым и святым он ни казался, именно его присутствие вызывает хаос и смерть, свидетелем которых он становится благодаря своей роли в сложной сети отношений, сформированных вокруг него.

Дело не только в том, что Мышкин — наивный простак. Дело в том, что его специфическая наивность оставляет его в неведении о пагубных последствиях его поступков для других. Он плоский человек, который буквально говорит как чатбот. Его «доброта» заключается в том, что он, подобно чатботу, без всякой иронии, реагирует на проблемы, предлагая в ответ лишенные какой-либо рефлексии банальности, воспринимая все буквально и полагаясь на ментальное «автозаполнение», а не на аутентичное мышление. По этой причине новые чатботы очень хорошо уживутся с идеологами всех мастей, от толпы сторонников культуры бдительности до сторонников Трампа, предпочитающих оставаться в «спящем режиме».

PS