Хассабис: закрытый цикл самоулучшения — самый опасный путь к AGI. Главное из интервью Демиса Хассабиса Риду Хоффману
Закрытый цикл RSI и «инопланетный интеллект» на выходе, AlphaZero от случайной игры до чемпиона за утро, «нефтяной разлив» на горизонте, два Рубикона сознания, 6–8 компаний у границы и совет странам не строить свою модель
Разговор записан вживую на Masters of Scale Summit в октябре 2026 года в театре Presidio в Сан-Франциско, тема саммита — agency, субъектность человека и институтов в эпоху ИИ. Беседу вёл Рид Хоффман, сооснователь LinkedIn и член совета директоров Microsoft; с Демисом Хассабисом, сооснователем и главой Google DeepMind, они знакомы больше десяти лет, Хоффман в своё время входил в этический совет Google по ИИ. На этом фоне — громкие инциденты с ИИ-агентами последних месяцев и подписанный ведущими лабораториями отраслевой меморандум о безопасности, на который Хассабис ссылается как на «лучше, чем ничего». Разговор получился о том, чего индустрия боится по-настоящему: неконтролируемого рекурсивного самоулучшения, преждевременной гонки за «сознательным» ИИ и слабости международных институтов именно тогда, когда они нужнее всего.
01Про главный риск: закрытый цикл самоулучшения
Рекурсивное самоулучшение (RSI, когда модель улучшает сама себя) сейчас, по Хассабису, в ранней фазе: инженер с ИИ-помощником работает в 3–5 раз быстрее, но человек по-прежнему в контуре — ревьюит код, задаёт архитектуру. Следующая фаза — закрытый цикл без человека. Она будет быстрее, но именно этим и опасна: двадцать лет назад её называли «интеллектуальным взрывом».
Хассабис предупреждает, что итог такого процесса, скорее всего, окажется «инопланетным разумом» — у нас не будет оснований считать, что он окажется в одном с человеком пространстве мышления. А значит, ни мы его толком не поймём, ни он нас. Отдельно опасной он называет связку закрытого RSI с системой, у которой есть собственная воля.
«Следующая фаза, в которой, как мне кажется, больше всего риска, — это закрытый RSI, замкнутый цикл, где ты как-то умудряешься обойтись без человеческой проверки во всей процедуре. Это, очевидно, будет быстрее, но это и очень опасный путь к полному AGI.»
— Демис Хассабис
02Про AlphaZero: от случайных ходов до сильнейшего шахматиста за день
Чтобы объяснить силу самоулучшения, Хассабис вспоминает AlphaZero — систему DeepMind, построенную после AlphaGo. В отличие от предшественника, она не использовала человеческих данных: играла сама с собой, начиная с случайных ходов, и через десяток-другой эпох обучения становилась сильнее.
Для Хассабиса это было физически ощутимо — он сам шахматист. Утром система ходила как попало. К кофе-брейку в 11 он её ещё обыгрывал. К обеду она играла на уровне гроссмейстера. К английскому файф-о-клоку — сильнее любого шахматного существа, человека или рукотворной программы.
«К 11 утра, к кофе-брейку, я её ещё едва мог обыграть. К обеду это был уровень гроссмейстера. А к чаю она была сильнее любого шахматного существа на свете.»
— Демис Хассабис
03Про «нефтяной разлив» и инженерию, которой не хватает
Киберинциденты последних полугода, по Хассабису, были во многом следствием слабой инженерии: более устойчивых песочниц и мониторинга хватило бы, чтобы их избежать. Нормальной ситуации, когда агент работает неделями, а никто этого не замечает, быть не должно.
Если индустрия коллективно не вложится в защиту, инцидент произойдёт сам. Хассабис сравнивает его с разливом нефти: не катастрофа класса «конец света», но публичная авария, после которой правила меняются задним числом. Параллельно, по его словам, кибероборона должна опережать кибератаку — доверенным защитникам первым выдают дообученные версии моделей.
«Если коллективно не уделить этому гораздо больше внимания и ресурсов, что-то плохое при нынешней траектории случится непреднамеренно — своего рода нефтяной разлив.»
— Демис Хассабис
04Про слабые институты и отраслевой стандарт
Хассабис давно продвигает идею отраслевого саморегулируемого органа с государственным надзором и выходом на международный уровень — об этом он писал летом в собственном эссе. По его словам, подписанное крупнейшими игроками соглашение (Accord) — результат в том числе этой кампании: «лучше, чем ничего», но до реальных обязательств далеко.
Главная проблема — геополитика. Международные институты, говорит Хассабис с характерной британской мягкостью, «немного прискорбно» слабы. Хоффман тут же просит перевести с британского — зал смеётся. Из конкретных механизмов Хассабис называет независимых аудиторов (по аналогии с финансовой отраслью) и взаимную проверку ведущих лабораторий: они могли бы тестировать модели друг друга на уязвимости до публичного выхода.
«Наши международные институты, как все мы знаем, очень, очень слабы — ровно в тот момент, когда они должны были бы быть как никогда сильны.»
— Демис Хассабис
05Про два Рубикона: сначала инструмент, потом разговор о сознании
Строить сегодня нужно умные инструменты, а не сознательные сущности, настаивает Хассабис. Причина — техническая и общественная. Техническая: если учить систему отвергать команды на основании собственных внутренних соображений, ты ставишь всё на то, что правила («конституция») прописаны без ошибок. Азимов, напоминает Хассабис, именно об этом и писал — его книги показывают, что в пограничных случаях три закона всегда ломаются.
Общественная причина — у человечества не было разговора о моральном статусе ИИ. Не было ни с философами, ни с теологами, ни с художниками — и ни в одной культуре, не только в западной. Хассабис предлагает сначала перейти первый Рубикон — построить умные инструменты, в том числе чтобы с их помощью разобраться в нейронных коррелятах сознания, — а уже потом, лет через 5–10, обсуждать второй.
«Мы несколько самонадеянно думаем, что так называемая проблема рассогласования — когда цели и поведение системы расходятся с тем, чего хочет человек, — уже под контролем. Да, сегодняшние системы оказались более податливыми, чем мы боялись 15–20 лет назад, — но это не значит, что проблема в целом решена.»
— Демис Хассабис
06Про интеллект и сознание: это разные вещи
На вопрос, не является ли сознание неизбежным побочным продуктом достаточно мощного интеллекта, Хассабис отвечает: нет. Эти свойства он называет «двусторонне диссоциируемыми» — ещё в его PhD двадцать лет назад.
С одной стороны — нынешние ИИ: умные по IQ, но, по личному ощущению Хассабиса, пока не сознательные. С другой — его собака: не блещет интеллектом, но вполне явно видит сны и обладает своим внутренним переживанием. То же, по его мнению, касается дельфинов, слонов и обезьян. Раз одно без другого бывает — разделить их в ИИ не только можно, но и нужно.
07Про суверенитет: у границы будет 6–8 компаний
На переднем крае, по оценке Хассабиса, окажется 6–8 моделей — включая китайские. Лидеры будут меняться местами, отрыв между ними — три-шесть месяцев. Для бизнеса это означает пространство арбитража: кто-то сильнее в мультимодальности, кто-то в коде, лучше всех во всём быть почти невозможно.
Открытый код, по его словам, отстаёт от закрытого на полгода-год и несёт свои риски (как ограничивать плохих, не связывая руки хорошим — проблема нерешённая). Отсюда практический совет странам: не пытайтесь построить собственную фронтирную модель. Разумнее брать существующие как коммодити, дообучать на своих чувствительных данных и строить ценность сверху — например, в здравоохранении.
«Я бы не советовал каждой стране пробовать построить фронтирную модель. Для меня это просто не имеет смысла.»
— Демис Хассабис
08Про AlphaFold и зачем вообще всё это делается
Хассабис напоминает, зачем он в принципе всю жизнь занимается ИИ: это инструмент для науки и медицины. AlphaFold 2, завершённый в 2020 году, он до сих пор считает лучшим конкретным примером применения ИИ к по-настоящему тяжёлой научной задаче — свёртке белка, которую в биологии сравнивали с Великой теоремой Ферма.
Сегодня AlphaFold, по его словам, используют около 4 миллионов исследователей, и практически любое будущее лекарство так или иначе задействует его структуры. Но этого мало: следующий шаг — расширение в биохимию, предсказание токсичности и ADME-свойств (как лекарство всасывается, распределяется, перерабатывается и выводится из организма), без которых препарат не становится безопасным и работающим. Этим занимается спин-офф DeepMind Isomorphic.
Источник: Masters of Scale, 5 ноября 2026
