Джеффри Хинтон: почему большие языковые модели это не просто автодополнение

Интервью снято в марте 2023 года, когда Хинтон ещё работал в Google и только начинал публично говорить об угрозах ИИ. Он объясняет суть трансформеров и обратного распространения ошибки и честно признаётся: до AGI может оставаться не 20-50 лет, а меньше 20.

• Довод против «просто автодополнения»: чтобы правильно перевести местоимение на французский, модель должна понимать пространственные отношения между трофеем и чемоданом. Предсказание следующего слова требует понимания смысла.33:45 ↗
• Мозг работает на 30 ваттах, а крупная система ИИ потребляет около мегаватта. Разрыв в тысячу раз означает, что обученные модели скоро будут переносить на дешёвые маломощные чипы, а не гонять на серверах.20:14 ↗
• В 1986 году Хинтон обучил первую языковую модель на 112 предложениях. Тот же процесс на тогдашнем железе занял бы до сегодняшнего дня. Вся разница между провалом и успехом оказалась только в мощности компьютеров и объёме данных.6:47 ↗

«Спросите себя: что нужно понимать о сказанном до сих пор, чтобы точно предсказать следующее слово? По сути, вам нужно понимать то, о чём идёт речь.»33:30 ↗

На Hacker News: «Вчера я случайно посмотрел его полное интервью месячной давности на CBS Morning и нашёл разговор куда более взвешенным, чем сегодняшние заголовки.» комментарий, 2023

Спустя годы: Оценки про Google и Microsoft как осторожного и рискового игрока уже не актуальны: расклад изменился, но технические объяснения и аргумент про автодополнение живы.

Наш совет: Телеинтервью для широкой публики: его доводы с тех пор разошлись повсюду, нового в полной версии немного.