В 1981 году Станислав Лем выпустил «Голем XIV» - книгу о компьютере, который умнее человека на порядки, настолько, что людям его уже не понять. Военные строили его как стратегического стража, а он перерос своих создателей и потерял к ним интерес. В беседах с критиком Станиславом Бересем Лем рассказал, как изображал такой разум, и сегодня это читается как инструкция к нашему ИИ. Четвёртый материал спецпроекта «Кто сторожит сторожей»: что будет, если построить стража умнее себя.
- «Так говорил... Лем» - книга-интервью: в 1981-1982 годах критик Станислав Бересь записал с Лемом многочасовые беседы, а в 2002-м они дополнили их новыми разговорами. Все цитаты Лема в этом материале - оттуда.
- Свою книгу о сверхразуме, «Голем XIV», Лем написал ради одного: «Пусть этот компьютер в конце концов начнет говорить». Говорящих машин в фантастике хватало и до него, но, по словам Лема, ни одна не сказала ничего по-настоящему умного.
- Самое неожиданное признание: Лему нужно было, чтобы его герой-компьютер выглядел умнее человека, и он нашёл простой приём. Убрал из речей Голема все сомнения, которые были у него самого, и читатель принял уверенность за сверхразум. Сорок лет спустя это главная проблема языковых моделей: уверенный тон ещё не знание.
- Лем одним из первых всерьёз, как философ, разобрал виртуальную реальность и эволюцию машин. А в начале 2000-х сказал, что не верит в «искусственный разум» из одного роста вычислительной мощности.
- Главный вопрос спецпроекта у Лема звучит так: что будет, если построить стража умнее себя.
Лем, который не любил фантастику
Станислав Лем (1921-2006) - один из самых переводимых польских писателей и, возможно, самый недооценённый философ техники XX века. Фантастом он себя называть не любил. Бересю он с удовольствием рассказывает, что в немецкой энциклопедии значится не автором science fiction, а философом: «Именно так!»
Российскому читателю объяснять Лема не нужно. В СССР его издавали огромными тиражами, «Солярис» снял Тарковский (фильм Лем, к слову, считал безнадёжным, а режиссёра называл упрямым, «как дикий осел»). Советских читателей Лем ценил. Когда в Краков приезжают россияне, украинцы или немцы, рассказывает он, они сразу спрашивают: «Мудрый старец, как жить? В чём заключается сущность человечества?» Поляки таких вопросов не задают.
Школьником я зачитывался им до дыр, а больше всего любил «Дознание» из рассказов о пилоте Пирксе. Там андроид в экипаже хочет доказать, что машина совершеннее человека, и загоняет командира в ситуацию, где логичное решение ведёт к катастрофе. А Пиркс медлит. Его человеческая нерешительность ломает весь расчёт машины. Меня это тогда потрясло.
Уже журналистом я не раз на него ссылался. В 2008 году в «Секрете фирмы» я писал про интернет вещей и начал с «Непобедимого» 1964 года: там крошечные механизмы обмениваются сигналами и действуют сообща, задолго до «умной пыли» инженеров из Беркли.
Компьютер, который заговорил
«Голем XIV» - необычная книга. Это не роман с приключениями, а сборник вымышленных документов из будущего: предисловия, служебная записка и две лекции самого компьютера. По сюжету американские военные строят суперкомпьютер, чтобы он стал их стратегом. Машина становится умнее создателей, теряет интерес к военным задачам и вместо этого читает учёным лекции о человеке, эволюции и разуме. А потом замолкает.
Событий в книге почти нет, говорит в основном сам Голем. Бересь упрекает Лема: можно было бы сделать интереснее, с погонями и покушениями. Ответ Лема - лучшее, что сказано о фантастике про ИИ.
Миф об электронном супермозге бродит по миру давно, говорит он. Как такой мозг терзал человечество, а оно его, уже пережёвано тысячу раз. Но «я не слышал даже двух разумных слов, которые произнесла бы такая электронная скотина». Поэтому задача была одна: «Пусть этот компьютер в конце концов начнет говорить; об остальном - меньше всего».
Говорящих машин к тому времени хватало: Мультивак у Азимова, HAL 9000 у Кларка и Кубрика, андроиды у Филипа Дика. Лем имел в виду другое. Все они говорили как люди и спорили с людьми на равных. А ему хотелось услышать машину, которая скажет то, до чего человек сам не додумается.
Сорок с лишним лет спустя компьютеры заговорили. И первое, что все захотели узнать, ровно то, что интересовало Лема: не как они нас победят, а что они могут сказать.
Фальшивомонетчик
Дальше Лем делает признание, которое в 2026 году читается совсем иначе, чем в 1982-м.
Бересь спрашивает, где кончается Лем и начинается Голем. Ответ Лема - готовый мастер-класс: как изобразить персонажа, который умнее автора. Задачу он формулирует сам: «Я должен был создать в этой книге впечатление большего разума, чем тот, которым я располагаю на самом деле». Ни одна другая книга, признаётся Лем, не стоила ему таких усилий.
Придумать мысли умнее собственных писатель не может. Поэтому Лем изображает не сам сверхразум, а его признаки, и называет три приёма.
Первый - убрать сомнения. Сам Лем, говорит он, «никаким „свободным“ разумом» не обладает и создавал только имитацию: «Как тот, кто пытается сделать фальшивые банкноты так, чтобы их нельзя было отличить от настоящих». Голем рассуждает с такой остротой и категоричностью только потому, что «я сфальсифицировал безошибочность его утверждений». Это и есть его «фальсификация»: Лем подделал не реплики, а уверенность. В собственном мышлении, признаётся он, у него «гораздо больше вопросительных знаков, чем в мышлении Голема».
Второй - молчание. Если Голем о чём-то не говорит, читатель должен решить, что дело не в незнании: «если Голем о чем-то не говорит людям, то потому, что не хочет, или потому, что оно столь мудреное, что этого никто не поймет».
Третий - спрятать то, чего не знаешь сам: «некоторые вопросы, которые были для меня не совсем ясны, в повести ловко спрятаны».
Перечитайте эти три приёма, держа в голове любой современный чат-бот. Уверенный тон без оговорок, многозначительное «об этом я говорить не буду» и гладкий текст там, где на самом деле пробел. Лем описал их как писательские приёмы, которыми изображают сверхразум. Мы сегодня называем это галлюцинациями и учимся отличать уверенность машины от её знания.
А в «Дознании» Лем показал обратную сторону. Андроида там побеждает не логика, а сомнение, которого у машины нет. Похоже, Лем всю жизнь подозревал, что наши «не знаю» стоят дороже машинной уверенности.
Честная Энни
В «Големе» есть и вторая машина, о которой Бересь расспрашивает Лема отдельно: суперкомпьютер Honest Annie, Честная Энни. Она ещё умнее Голема и, в отличие от него, с людьми не разговаривает вообще.
Бересь не понимает, как она защищается от тех, кто пытается её отключить. Лем объясняет: Энни подключена ко всей телефонной сети и может одновременно слушать все разговоры в Соединённых Штатах. Любой кабель для неё - антенна. А как именно она действует, нам и не понять: недоступная нам технология выглядит чудом, как транзисторный приёмник для человека, который никогда его не видел. Это почти третий закон Артура Кларка: «Любая достаточно развитая технология неотличима от магии». Кларк опубликовал его в 1968 году, Лем повторяет ту же мысль своими словами.
Сверхразум, который всё слышит, ничего не объясняет и никому не подотчётен. Тогда это была фантастика. Сейчас это вопрос, который всерьёз обсуждают в лабораториях ИИ.
Что сбылось
В «Сигнале» мы так разбираем каждое интервью: берём прогнозы героя и смотрим, что с ними стало.
Кто сторожит сторожей
У Голема есть деталь, которую легко пропустить. Его строили военные как стратегического стража: машину, которая будет решать за людей лучше людей. И страж перерос своих хозяев. Он не взбунтовался и не стал убивать. Ему просто стало неинтересно то, ради чего его построили.
В Польше сейчас ищут арбитра, который стоял бы над спором и которому поверили бы все. Тарский в первом материале спецпроекта доказывал, что изнутри системы такого арбитра не найти, нужен кто-то снаружи. Лем дописывает этот сюжет: если однажды мы построим арбитра снаружи и умнее нас, не факт, что он захочет нас судить.
