Андрей Карпатый о трансформерах, автопилоте Tesla и пути к AGI

Человек, строивший автопилот Tesla изнутри и умеющий объяснить трансформеры с нуля. Разговор конца октября 2022 года, за месяц до выхода ChatGPT, и многое из того, что здесь звучит как прогноз, с тех пор сбылось.

• Трансформер ценен не только механизмом внимания, а тем, что одновременно выразителен в прямом проходе, оптимизируем через градиентный спуск и эффективен на GPU. Три свойства совпали в одной архитектуре.37:10 ↗
• Tesla убрала радар и ультразвук не потому, что камеры лучше по отдельности, а потому что каждый лишний датчик тянет за собой цепочку поставок, прошивку, команду и энтропию в организации. Лучшая деталь та, которой нет.1:28:22 ↗
• Чтобы войти в продуктивное состояние, нужно несколько дней непрерывной работы над одной задачей: загрузить её в оперативную память и не выходить из неё даже в душе. Даже в очень продуктивный день набирается лишь шесть-восемь часов реального кода.2:13:17 ↗

«В трансформере одновременно совпало несколько конструктивных требований, и это сделало его таким успешным.»36:31 ↗

На Hacker News: «Всем, кого этот вопрос всерьёз интересует, стоит послушать интервью Лекса Фридмана с Андреем Карпатым.» комментарий, 2023

Спустя годы: Рассуждения о GPT как о «просто инструменте без долгосрочных целей» устарели; всё про трансформеры, данные и философию автопилота актуально.

Наш совет: 16 минут, где Карпатый объясняет трансформер, Software 2.0 и данные от первых принципов до производственной системы.