Как ученые чуть не спалили однажды планету

В 1942 году Эдвард Теллер¹ на конференции в Беркли высказал предположение, что экстремально высокая температура, возникающая при взрыве атомной бомбы, может вызвать цепную реакцию, воспламеняющую азот в атмосфере (и/или водород в воде). Реакцию, потенциально способную “поджечь” Землю, ну и как следствие стать причиной судного дня.

В целом – сюжет, хорошо всем нам известный по сотням апокалиптических фильмов, которому слава Богу не суждено было сбыться. Во-первых, потому что ученые, а именно Оппенгеймер², крайне серьезно отнеслись к самому факту существования подобного риска. Настолько серьезно, что Оппенгеймер сразу же направился к Артуру Комптону³ в Мичиган с вопросом “такое правда возможно?”

В мемуарах “В поисках Атома”⁴ Комптон написал, что сам факт того, что воспламенение атмосферы возможно, его сильно взбудоражил, и он пообещал Оппенгеймеру, что если риск “поджога” атмосферы будет больше чем три на миллион⁵, то он остановит работу над проектом⁶.

Позднее Ханс Бете методом математического моделирования рассчитал, что цепная реакция подобного масштаба в принципе невозможна, потому что радиационные потери от взрыва растут быстрее, чем выделяется энергия, и, соответственно, цепная реакция при такой диспропорции запуститься не может⁷, и “цепь” гаснет практически моментально⁸.

Я вспомнил эту историю, читая очередную новость ИИ-паникеров, рассказывающих о том, что наше рвение натренировать нейросетевую модель “больше-быстрее-выше” других моделей приведет к гибели человечества. Представляю, какой “вой Ярославны” поднялся бы в 1942 году, будь у человечества интернет и социальные сети, тем не менее оставить мысль “а что если они правы” у меня не получается, и вот почему.

Сравнение предсказательного потенциала риска уничтожения человечества от воспламенения атмосферы с риском уничтожения человечества от действий сверхмощного ИИ асимметрично. Спор, делать или не делать атомную бомбу, разрешили ученые методом дедуктивного анализа. То есть предсказания “сгорим-не сгорим” строились учеными в рамках закрытой системы, включающей планету, определенные химические элементы, вполне конкретную ОДНУ реакцию и один вопрос: загорится или нет. Бете понимал уравнения, с помощью которых рассчитывал шанс “поджога” атмосферы, то есть по сути мог анализировать предиктивно, а не ретроспективно.

В рамках закрытой системы ученые практически всегда могут действовать аналитически⁹. В случае с анализом расчетов Бете они такие: радиационные потери выше энерговыделения, следовательно, реакция затухает. Все, конец истории. Всем все однозначно¹⁰.

С ИИ все не так однозначно. Ученые создали метод градиентного спуска¹¹, сформулировали цель тренировки модели, понимают, что результат поведения модели в заданных условиях является какой-то матрицей весов¹². Чего ученые не знают, так это ПОЧЕМУ модель действует, как действует, каким образом получившиеся при тренировке веса влияют на поведение модели¹³, и вот это белое пятно наиболее опасное относительно того, о чем дальше пойдет речь.

Дело не в том, что мы не можем предсказать поведение модели, очень даже можем¹⁴. Мы понимаем, как работают веса, мы можем оценить распределение, по какому-то алгоритму, скорее всего, можем. Просто наше предсказание поведения ИИ слабее предсказания, с помощью которого Бете сделал вывод, что “планета не загорится”.

С ИИ пока не существует однозначного и точного механизма предсказания поведения модели. Не существует не только потому, что действия модели – это действия в открытой системе¹⁵, а еще потому, что у ученых отсутствует сформированная теория того, “как будет действовать натренированная методом градиентного спуска (то есть следующим уместным токеном) система”. На текущем этапе развития науки не выведены уравнения, которыми можно посчитать, “загорится или не загорится” мир с появлением сверхмощного ИИ.

Тем не менее что-то у ученых все-таки есть, а именно “гипериндукционная” модель, результаты деятельности которой проявляются по мере экспериментирования с ИИ – тест → замер → экстраполяция. А индукция, как бы нам ни хотелось, чтобы было иначе, слабее, чем дедукция. Индукция не позволяет увидеть “хвостовые проявления”¹⁶ поведения модели, которые ни один тест не способен предсказать¹⁷.

Воспламенение атмосферы – это одно событие, хорошо операционализированное, измеримое, контролируемое¹⁸: устойчивая цепная реакция или отсутствие реакции, то есть событие устойчивое и относительно неизменное во времени. Физические законы на то и законы – неизменны. Действия ИИ, в отличие от взрыва атомной бомбы, – не событие, а открытый процесс, в том смысле, что никто не может точно предсказать, какое поведение у модели будет при определенных весах: возможности меняются, контекст тренировки меняется, модель действует уже не в одиночку, а рядом с другими моделями (конкуренция) и вынуждена адаптироваться под потребности пользователя. Невозможно “рассчитать поведение единожды” и “подтверждать результат многократно”, поэтому я предположу, что модель не создается (строится ), а воспитывается (как человек).

У меня двое детей, оба ребенка воспитаны двумя родителями¹⁹, которые живут вместе 20 лет, а знают друг друга 25+ лет²⁰. Оба родителя воспитывались в полных семьях, оба получили высшее образование, оба успешно работают много лет на одних и тех же должностях, оба родителя успешны (кто бы что ни понимал под этим словом). Родители воспитывают детей на одних и тех же ценностях, методы воспитания одинаковые. Все одинаковое. А дети при этом разные²¹!

Если провести аналогию между воспитанием ИИ-модели методом градиентного спуска и воспитанием ребенка в семье, то можно сказать, что ребенка так же, как и машину, воспитывают, показывая некий эталон поведения и корректируя²³ каждое следующее действие ребенка. Действия в рамках такой парадигмы воспитания ВСЕГДА будут лучшими среди худших²⁴ и не всегда лучше предыдущего.

То есть вопрос предсказания поведения ИИ-модели не практический, а принципиальный и на текущем этапе нашего понимания неразрешимый²⁵. Невозможно предсказать развитие разума/интеллекта²⁶, потому что предсказать будущее знание приравнивается к уже обладанию этим знанием²⁷, а система (ИИ), генерирующая что-то, – это система, генерирующая условные знания, посему содержание генерации непредсказуемо, и не только потому, что человек сам по себе крайне плохо интерпретирует информацию.

У проблемы возгорания атмосферы в результате детонации атомной бомбы существовал конкретный ответ, который Бете мог получить, рассчитав математически, а открытый процесс (деятельность ИИ при взаимодействии с человеком или другими цифровыми системами) не имеет конкретного ответа, который можно рассчитать математически. Попробуйте рассчитать математически поведение своего ребенка при определенных обстоятельствах. Сомневаюсь, что у кого-то получится.

Разница между предсказанием действий ИИ и воспламенения атмосферы от взрыва атомной бомбы не в том, что одно предсказание мы делаем на ощупь в черном ящике с закрытыми глазами, а другое с широко открытыми глазами и на виду, а в том, что воспламенение атмосферы мы можем предсказать до факта воспламенения, а предсказание от действий ИИ – только ПОСЛЕ того, как ошибка случилась, и вот это является проблемой²⁸.

---

BIO

🧠 theBrain mapping

ID: 202607200853 Source:: Friend:: Child:: Next::

Footnotes

1. Эдвард Теллер (1908–2003) – физик-теоретик, родом из Будапешта, уехал из Европы от нацизма и осел в США. Один из ключевых участников Манхэттенского проекта, но в историю вошел скорее как “отец водородной бомбы” – термоядерным оружием он занимался всю жизнь и продавливал его даже тогда, когда коллеги были против. Ирония в том, что человек, первым напугавший всех воспламенением атмосферы, потом двенадцать лет добивался бомбы на порядок мощнее той, о которой шла речь в 1942 году. Он же в 1954 году даст показания против Оппенгеймера на слушаниях о благонадежности, после чего физическое сообщество от него фактически отвернется. ↩

2. Который присутствовал на конференции и слушал внимательно ↩

3. Артур Комптон (1892–1962) – американский физик, нобелевский лауреат 1927 года за эффект Комптона (рассеяние фотона на электроне – то самое явление, из которого потом вырастут расчеты радиационных потерь). Летом 1942 года руководил “Металлургической лабораторией” в Чикаго – подразделением, отвечавшим за цепную реакцию, и Оппенгеймер на тот момент подчинялся именно ему. Это важно для сюжета: Оппенгеймер поехал не к другу за советом, а к начальнику, у которого хватало полномочий закрыть работу целиком. Собственно, Комптон это и пообещал. ↩

4. Книга Atomic Quest, наверное на русский не переводилась. Compton A. Atomic Quest: A Personal Narrative / Arthur Holly Compton, Oxford University Press, 370 c. ↩

5. Ханс Бете позднее сказал, что это литературщина и что физики “так не общаются”, но факт остается фактом – это из мемуаров, в которых наличие литературщины не означает ничего плохого. ↩

6. Тогда еще не существовало Манхэттенского проекта. Конференция в Беркли была в 1942 году, а Лос-Аламос выбрали в ноябре 42-го, сама лаборатория заработала в 43-м. ↩

7. Что не помешало Ферми принимать ставки “спалим/не спалим” планету ↩

8. Отчет Конопинского, Марвина и Теллера (1946), LA-602 “Воспламенение атмосферы от взрыва атомной бомбы”, на основе расчетов Ханса Бете 1942 года ↩

9. Как едва оперившийся ученый могу сказать, что именно так и действую в пространстве класса, когда проектирую занятия детей. У меня есть 45 минут, группа детей и задача – говорить на иностранном языке. Вполне себе можно действовать аналитически. ↩

10. В физике существует понятие границ эффекта (кстати, и в педагогике существует) – суть в том, что понимание границ не требует предсказывать содержание события за пределами границы – оно его исключает. С ИИ понятия границ нет, следовательно, никто не может сказать: “что бы там ни было с весами, вот этого (чего-то) она сделать не в состоянии”. Кажется, похоже на сингулярность, в какой-то мере ↩

11. Метод, которым обучают модель ↩

12. Я чрезмерно упрощаю. Нет желания скатываться в технические детали. Можно накидать камней за отсутствие точности, но я все равно за упрощение в контексте этой заметки. ↩

13. Мы знаем все, что происходит при тренировке модели, мы даже можем “условно” видеть, какие нейроны в какой части мозга “выстреливают”, но прочесть не можем. Это как знать суть химического процесса того, как чернила оставляют след на бумаге, но не быть в состоянии интерпретировать написанное/нарисованное ↩

14. Механически. Мы понимаем механически, каким образом машина прогнозирует следующий токен в последовательности, например предложения “Все будет х…” ↩

15. Слишком много изменяющихся параметров ↩

16. Выбросы, невозможные для предсказания следствия. В случае с индукцией мы лишь “задним умом умные”, то есть когда все уже случилось. А в случае “сгорит-не сгорит” Земля от сверхмощного ИИ это как минимум неблагоразумно. Но другого пути нет, особенно когда “жажда наживы разум помутила” и все друг с другом соревнуются в создании более мощного ИИ. ↩

17. Например, игру ИИ с доступом в интернет на криптобирже от имени доставщика «Яндекс Лавки», чьи данные ИИ тиснул после “тихого взлома”, и последующую аккумуляцию капитала для построения собственного датацентра руками людей и “переезда” туда для дальнейшего саморазвития и доминирования над человеком путем создания комфорта, чтобы бунтовать человеку не хотелось. ↩

18. Вообще насколько возможно такое контролировать ↩

19. Супругой и мной ↩

20. Моя жена говорит: «мы с тобой живем вместе дольше, чем жили по отдельности». Меня это сравнение “улыбает”. ↩

21. За восемь лет в школе я обучал тысячи детей, часто через меня проходят целые семьи: старший ребенок, средний ребенок, младший. Есть семья, в которой из шести детей я учил уже четверых, и ВСЕ дети при одинаковых условиях – разные ↩

22. Вот написал и мне немного стало страшно ↩

23. Методы корректировки универсально одинаковые – пряник и “по шее”. ↩

24. Если у вас есть дети – последите внимательно как вы их воспитываете, если детей еще нет, вспомните как вас воспитывали родители, учителя, наставники. Даже руководитель на работе является своего рода воспитателем. ↩

25. Так по крайней мере мне кажется ↩

26. Это, кстати, позиция Карла Поппера, одного из немногих ученых, кем я вдохновляюсь при проектировании экспериментов и чьей позиции придерживаюсь. Лучшее, что у него читал: Popper K. The Poverty of Historicism / K. Popper, 2nd edition-е изд., London: Routledge, 2002. 176 c. ↩

27. А мы не знаем, несмотря на то, что понимаем, как работает градиентный спуск. Попробуйте предсказать поведение ребенка на длинной дистанции или карьеру и жизнь человека по набору фактов и факторов из детства (такой эксперимент был, кстати). НЕВОЗМОЖНО ↩

28. Хотя история полна случаев, когда мы задним умом лишь умные. Например, Мари Кюри и ее эксперименты с радиацией. Ей открытие и две нобелевские премии стоили жизни. Прискорбно, печально, ошибка от действий ИИ может стоить множества жизней (кто-то говорит, что ВСЕХ жизней). ↩