Условий победы достаточно для того чтобы победить

Я тут вычитал1 одну забавную мысль, размышляя над содержанием прошлой заметки2, в которой как раз и написал, что бы делал на месте машины, обладающей волей совершать поступки в отношении человека …

Если вы еще не смотрели, то посвятите следующие 90 минут просмотру документального фильма, посвященного тому, как AlphaGo разносит в пух и прах Ли Седола3.

AlphaGO – документальный фильм

https://youtu.be/WXuK6gekU1Y?si=WH69VVcJ7WgRCcjY

За “магией”, которую показывает Демис Хассабис и его команда, скрывается один любопытный феномен, который я, если честно, не разглядел при первом просмотре в 2016 году. Не разглядел и когда готовил материал для написания своей первой книги в 2023 году4, не разглядел и когда несметное множество раз нарезал видео для уроков английского в школе и универе, в интервале 2024-2025 годов, а сейчас разглядел.

Работая над проблемой создания искусственного интеллекта, никто в DeepMind не ставил перед собой задачи создать5 цифровую интуицию, тем не менее им удалось именно это, и сейчас на почве появления более мощных ИИ, у меня возникают опасения относительно того, какое действие машина может принять за интуитивно верное. Ведь машина, как оказывается, выбирает не лучшее действие при решении задачи, а лучшее действие среди худших. Попробую пояснить на примере того, как ученые тренируют ИИ модели.

Все6 модели тренируются методом “градиентного спуска”7. Если обобщить его коротко, то я бы сказал, что для того, чтобы машине (ИИ) выдать человеку желаемый им ответ, машину следует натренировать, а в процессе тренировки машина будет подбирать наилучший из ХУДШИХ вариантов в попытке угадать следующую букву, например, предложения “Все будет х…”

Представьте, что мы стоим на очень высокой стремянке, а наша задача заключается в том, чтобы спуститься вниз. Как с этой задачей будет справляться человек? Развернется, схватится за ручки по бокам и будет спускать ноги ступенька за ступенькой. Градиентный спуск – это положение модели в каждой высокой точке спуска со стремянки. Если спускаться со стремянки будет модель, то каждое действие – это ошибка модели (насколько ее предсказанное действие разошлось с эталонным действием человека на массиве обучающих примеров). Каждую высоту модель считает функцией потери (loss). Каждый уровень лестницы = подкрутка веса, чтобы, внимание, ОШИБКА была меньше. И так миллиарды раз, пока не спустимся до земли.

Можно дальше поговорить о процессе токенизации ответов уже натренированной методом градиентного спуска модели и о том, как работает предсказание машиной следующего наименее худшего токена, чтобы “отдать” удовлетворительный ответ человеку, но это уже математика, в рамках этой заметки достаточно сказать, что НИКТО понятия не имеет, как машина строит эти предсказания8, оно просто как-то работает. Тем не менее, несмотря на то, что современные ИИ уже отлично справляются со многими сброшенными на них человеком задачами, машина иногда, очень редко, выдает ответы, которые человек никогда бы не получил, если бы спросил другого человека. Человеком подобные ответы машины воспринимаются как галлюцинация.

Но что если …?

То, что человек считает галлюцинацией, не является таковой для машины, а есть логичный ответ9. Мы же не понимаем, как там оно устроено10 распределение весов и каким образом машина выдает следующий наилучший из ХУДШИХ токен. Но видя “эту” магию мы предполагаем, что благодаря чудовищно большому массиву данных машина подменяет дедуктивное мышление гипериндуктивным, но как точно генерится ответ, мы лишь догадываемся11.

Вернемся к Ли Седолу и AlphaGO. Вопрос, который меня буквально сегодня утром взбудоражил, звучит так: если машина делает логичные ходы, умеет предсказать ход своего оппонента и системно в 4-х из 5-ти матчей создает условия, при которых оппонент сдается, то есть действует как настоящий живой игрок за доской ГО, значит ли это, что машина хочет выиграть? Или “это другое”?

Я сейчас не очень помню, но мне кажется, что команда Хассабиса “объяснила” машине правила игры и условия победы и отталкивалась в дальнейшей работе при проектировании того, как машина “думает”, от этих двух предпосылок12. То есть получается, машиной двигает не желание победить, потому что машина не способна желать13, а созданные условия. Более того, я предположу, что машина не хочет побеждать, а просто действует в условиях ограниченной системы (доска и камни) таким образом, чтобы кто бы ни оказался по другую сторону стола (человек или другая машина), сдался (проиграл).

Человек оказался в космосе не потому, что у него были условия для того, чтобы оказаться в космосе, а потому, что мы хотели оказаться в космосе. Мы пересели с лошади на машину не потому, что были условия для того, чтобы сесть на авто, мы пересели, потому что отдельно взятый человек ХОТЕЛ сделать доступный широкой публике автомобиль.

Желания человека определяются его действиями14. А если у человека нет желаний, то он действовать не будет, так?

С машиной не так: в игре ГО машина вряд ли хотела выиграть, ИИ просто знал правила игры и понимал условия, при которых оппонент сдастся, и сделал все возможное, чтобы тот, кто играет против, проиграл.

Теперь вопрос: быть может, я не прав, размышляя о том, что если бы я был машиной, то не побеждал бы человека путем уничтожения, а просто создал условия, при которых человеку будет ну очень комфортно, чтобы хотеть каких-то изменений?

У нас есть правила игры под названием жизнь, какими бы мутными они ни были. Нам известны условия, при которых человек выживает, “убей или будь убитым”, да, именно так мы выжили, собиратели и охотники выживали, загоняя мамонтов и выращивая еду.

Что остается машине, зная условия выживания/победы и правила игры, какими бы правила ни были?

Postscriptum

AlphaGo еще тренировалась на массиве данных человека, то есть изучала ходы человека. Но в 2017 году Хассабис создал следующую модель AlphaGO Zero, которая уже не использовала для тренировки массив человеческих данных, а знала только правила игры и условия победы и обучалась только игрой сама с собой.

AlphaGO Zero, модель, выученная без знания единой партии, сыгранной когда-либо человеком, разнесла модель, которая обучалась на 30 миллионах ходов и обыграла Ли Седола со счетом 100:0.

BIO

🧠 theBrain mapping

ID: 202607110930 Source:: Friend:: Child:: Next:: Размер мозга имеет значение. Или нет

Footnotes

  1. Я читаю всегда несколько источников и иногда бывает так, что они друг друга неожиданно опыляют ↩

  2. Если не читали, поглядите на входящую в эту заметку ссылочку ↩

  3. Если не смотрели еще этот феноменальный документальный фильм, настоятельно рекомендую. ↩

  4. Агамалиев Р. От «Энигмы» до ChatGPT / Р. Агамалиев, МИФ-е изд., 2023. 208 c. ↩

  5. Несмотря на отсутствие такой задачи, им это все-таки удалось ↩

  6. Наверняка все, но это не точно ↩

  7. Да, я понимаю, что градиентный спуск – это настройка весов при обучении модели, а не при генерации ответов, то есть тогда, когда модель уже обучена. ↩

  8. Как веса распределяются при тренировке методом градиентного спуска. Мы не можем прочесть смысл весов и не можем объяснить, почему выученные представления заставляют модель действовать так, как она действует. ↩

  9. В рамках машинной логики, никому не понятной. Мы же не понимаем, как машина распределяет веса при тренировке и как предугадывает следующий токен при генерации ответа ↩

  10. Имею в виду, как машина из случайного набора цифр и умения предсказать следующую букву в последовательности букв делает то, что делает. Мы только можем догадываться. ↩

  11. Мне кажется, следующая “громкая” Нобелевка будет как раз за ответ “как вот это все работает у ИИ” ↩

  12. Была еще одна огромная предпосылка. Впервые комбинацию букв AlphaGo я увидел на своем любимом сервере для игры го онлайн, goKGS. Команда Хассабиса подсадила модель на сервер, на котором модель играла с игроками, но, что самое важное, модель обучили на 30 миллионах ходов, сделанных сильными игроками этого сервера ↩

  13. Правда ведь? Или мне так кажется? ↩

  14. Вопрос “хочу”, каким бы легким ни казался, таким не является, оставим его философам или философской заметке моего садика) ↩