Кеннет Стэнли: почему цели мешают достичь великого

Стэнли, автор алгоритма NEAT и пионер «поиска новизны», объясняет, почему оптимизация под конкретную цель мешает прорывам, и показывает это на материале эволюции, машинного обучения и реальных институтов.

• Следовать цели в амбициозных задачах, где путь неизвестен, так же бесполезно, как пытаться стать миллиардером, удваивая зарплату: движение по показателю не ведёт туда, куда нужно.13:02 ↗
• В эксперименте Picbreeder пользователи находили сложные образы вроде черепа за десятки шагов, ни разу не стремясь к ним напрямую. Предшественник каждый раз не напоминал финальный результат, и в этом Стэнли видит главное доказательство своей идеи.57:36 ↗
• Голосование комитетом в похожем проекте Living Images дало лишь бесформенные цветные пятна: когда большинство решает, что интересно, разнообразие вымывается и система перестаёт открывать новое.1:53:41 ↗

«Умная часть здесь исследование, а глупая целевая функция, потому что это до смешного просто. В оптимизации под цель нет ничего по-настоящему интересного: алгоритмов для этого полно, и она не заведёт нас никуда стоящего.»2:41:15 ↗

На Hacker News: «Это действительно изменило мой взгляд на достижение долгосрочных целей.» комментарий, 2021

Спустя годы: Примеры с GPT-3 и BERT звучат как артефакты 2021 года, но центральный аргумент про тиранию целей в науке, грантах и образовании не устарел.

Наш совет: Живой спор Стэнли и Кита Даггара о тирании целей, открытом поиске и о том, как общество и наука подавляют исследования ради метрик.