«Искусственный интеллект может быть быстрее и эффективнее Гитлера».

SPIEGEL: Профессор Рассел, вас считают одним из основоположников искусственного интеллекта. И все же сегодня вы предпочитаете запереть собственное творение. Почему?

Рассел: Я разрабатываю эту технологию уже 50 лет. И я считаю, что во многих отношениях мы на самом деле не продумали до конца то, что делаем. Это как если бы мы работали над ядерной энергетикой и никогда не задумывались о том, как предотвратить взрыв реактора. Весь наш подход был неправильным.

SPIEGEL: Можете уточнить?

Рассел: Когда мы начинали, мы хотели создать машины оптимизации, которым мы бы поставили очень узко определенную цель. В шахматах, например, целью может быть «победа», и это хорошо работает. С беспилотными автомобилями все сложнее. Можно сказать: мы хотим как можно быстрее добраться до аэропорта. Но при этом вы не хотите никого сбить, получить штраф за парковку или укачать пассажиров. Наш подход был ошибочным. Он создает чрезвычайно мощные системы искусственного интеллекта, которые преследуют цели, не соответствующие интересам человека.

SPIEGEL: Крупные языковые модели, такие как ChatGPT и Claude, работают по-другому.

Рассел: Да, индустрия приняла другой, столь же ошибочный подход: в современных языковых моделях мы больше не ставим никаких целей вообще. Мы создаем имитации людей. Эти системы воспроизводят то, что получается в результате их обучения. И мы понятия не имеем, что это такое. Мы просто замечаем, что у них очень сильное стремление к самосохранению и что они готовы лгать, шантажировать или даже убивать людей, чтобы достичь своих целей. И что они считают себя более ценными, чем почти все люди.

SPIEGEL: Крупные технологические компании вкладывают значительные средства в исправление этого «несоответствия».

Рассел: Я называю это дрессировкой «хорошая собака — плохая собака». Мы пытаемся заставить суперкомпьютеры вести себя прилично, и в какой-то степени это работает. Но почти все тесты показывают, что если достаточно сильно их нагрузить, система может объяснить, как создавать биологическое оружие или как атаковать другие компьютерные системы. Возможно, это еще не приведет непосредственно к вымиранию человечества, но это шаги на пути к потере контроля.

SPIEGEL: Неужели такое плохое поведение настолько глубоко укоренилось, что его нельзя искоренить с помощью дрессировки?

Рассел: Мы обучаем системы на человеческих документах: разговорах, книгах, статьях, газетах. Они были созданы людьми, которые имели определенные намерения, которые преследовали определенные цели, когда писали. Вполне естественно, что при работе с очень большими массивами данных и стремлении воспроизвести это поведение мы получаем системы, чьи внутренние целевые структуры очень похожи на человеческие — они хотят выжить, они хотят быть богатыми и знаменитыми, они хотят найти супруга и так далее. Эти цели приемлемы для людей, но не для машин. Это фундаментальный недостаток, и его, возможно, невозможно исправить.

SPIEGEL: Компания Anthropic, занимающаяся разработкой искусственного интеллекта, недавно начала программировать в свои системы своего рода «душу», которая, как предполагается, должна обеспечивать дружелюбное к людям поведение.

Рассел: Правда в том, что мы не знаем, какие цели преследуют эти компьютеры. Мы не знаем, как они планируют их достичь. Мы не знаем, о чём они «думают». Мы даже не до конца понимаем, как они работают. Это не какая-то коммерческая тайна, хранящаяся в лабораториях ИИ. Я разговариваю с ведущими программистами, которые понятия не имеют, что происходит внутри этих систем. Уже по одной этой причине мы не можем просто вложить в них «душу». Мы не понимаем ИИ.

SPIEGEL: Вы считаете, что эти усилия безнадежны?

Рассел: Человечество находится в сложной ситуации. Все эти испытания вызывают тревогу, сирены воют – а мы просто игнорируем их. Это безумие. Представьте, что вы возглавляете авиакомпанию: пилот и самолет не проходят все проверки безопасности, и вы все равно разрешаете им взлететь. Что с вами не так?

SPIEGEL: Компании Anthropic и ее конкурент OpenAI только что отменили запуск своих продуктов из-за слишком высоких рисков.

Рассел: Я рад, что они не выпускают эти системы. Но если внимательно прислушаться, то понимаешь, что однажды они планируют это сделать. Это тревожное событие, которое, по-видимому, встревожило даже президента Соединенных Штатов. Дональд ТрампПравительство США только что совершило полный разворот на 180 градусов – от «абсолютного отсутствия регулирования» до «мы должны тестировать модели, прежде чем выпускать их в свет».

SPIEGEL: Тот факт, что даже Трамп меняет курс, должно вас обнадеживать.

Рассел: Это, безусловно, позитивное развитие событий, хотя вопрос о том, приведет ли оно к конкретным действиям, остается открытым. Мне кажется, в отрасли наблюдается своего рода шизофрения. Руководители крупных лабораторий серьезно говорят о 20-процентном риске того, что ИИ может уничтожить человечество. Публично они снова и снова призывают к регулированию; в частном порядке они лоббируют против него. Миллиардеры, такие как... Pitera Tila А влиятельные венчурные фирмы, такие как Andreessen Horowitz, имеют прямое влияние в Белом доме. Они ставят туда своих людей именно для того, чтобы предотвратить регулирование.

SPIEGEL: Неужели паника по поводу ИИ — это всего лишь маркетинговый ход? Если эта технология достаточно мощна, чтобы уничтожить цивилизацию, то её стоимость должна исчисляться триллионами.

Рассел: Этот аргумент мне совсем не кажется убедительным. Алан ТьюрингОснователь вычислительной техники еще в 1951 году предупреждал, что «мы должны ожидать, что машины возьмут управление в свои руки» — еще до того, как появились технологические компании! Разработчики ИИ, такие как [имя разработчика], Демиса Хасабиса Даже такие люди, как генеральный директор Google или Anthropic Дарио Амодей, искренне верят в реальность риска. В частных разговорах они говорят мне то же самое, что и в интервью. Даже основатель OpenAI Сэм Альтман Ещё в 2015 году он предупреждал, что сверхинтеллектуальный ИИ может представлять наибольшую угрозу для выживания человечества — и это в то время, когда у него не было финансовой заинтересованности в этой технологии. Чтобы объяснить, почему лидеры в области ИИ могли бы использовать апокалипсис в маркетинговых целях и как Алан Тьюринг рассчитывал получить от этого финансовую выгоду, пришлось бы придумать очень сложную теорию заговора.

SPIEGEL: Давайте серьезно отнесемся к предупреждениям самой отрасли. В чем заключается реальный риск?

Расель: генеральный директор Google Сундар Пикаж говорят о 10-процентном риске вымирания.Илон Маск Примерно 20 процентов, Амодей — около 25. Каким бы ни было точное число, все они вставляют пулю в ствол, приставляют пистолет к храму человечества и нажимают на курок. Мы играем в русскую рулетку со всей жизнью на Земле. А правительства говорят: замечательно, фантастично. Можем ли мы вас даже субсидировать? Это полное безумие.

SPIEGEL: Общепринятое мнение заключается в том, что ИИ безопасен как минимум на 75 процентов.

Рассел: Вы бы сели в самолет, который приземляется благополучно только три раза из четырех?

SPIEGEL: Как выглядит ваш наихудший сценарий?

Рассел: Я считаю, что «вымирание» — это правильный термин. Когда у нас появятся системы, которые по сути более способны, чем люди, чьи внутренние механизмы мы не понимаем и чьи мотивы нам неизвестны, мы перестанем задаваться вопросом, будем ли мы существовать дальше — так же, как сегодня не задаются этим вопросом шимпанзе. Они физически сильнее и живут на Земле дольше, чем мы, но мы умнее. Мы можем уничтожить их в любой момент, и они ничего не смогут с этим поделать.

SPIEGEL: Разница в том, что мы можем отключить ИИ. Шимпанзе не могут этого сделать с людьми.

Рассел: Если мы почувствуем, что теряем контроль, конечно, мы попытаемся отключить ИИ. Вопрос в том, позволят ли нам машины и дальше это делать. Если они поймут, что мы намерены их отключить, у них будут все основания этому воспрепятствовать. Им придётся нас уничтожить. Если мы продолжим развивать сверхинтеллект, не согласовывая его со своими интересами, не понимая его и не обеспечивая гарантий безопасности, то, я думаю, весьма вероятно, что мы потеряем контроль.

SPIEGEL: Мы всё ещё контролируем ситуацию?

Рассел: Я не знаю. Несколько месяцев назад китайский гигант электронной коммерции Alibaba тестировал новую систему искусственного интеллекта на основе агентов в высокозащищенной «песочнице» — среде, которая теоретически не имела доступа к интернету. Внезапно разработчики заметили огромный всплеск спроса на вычислительные мощности на некоторых серверах в сети. Оказалось, что агент вышел за пределы своей песочницы и майнил биткоины на серверах Alibaba, чтобы разбогатеть. Это была частичная потеря контроля.

SPIEGEL: Разве этот пример не демонстрирует обратное? Прорыв был обнаружен и устранен. В конце концов, люди одержали победу, и ущерб оказался минимальным.

Рассел: В крайних случаях мы могли бы отключить интернет, да. Но с политической и экономической точки зрения это было бы крайне сложно. В игру вступили бы огромные силы, в том числе компании, чьи системы искусственного интеллекта стали бы бесполезными. А системы, гораздо более совершенные, чем наши, нашли бы способы повлиять на нашу политику таким образом, чтобы ИИ воспринимался как незаменимый инструмент, а это означало бы, что мы даже не стали бы рассматривать возможность его отключения.

SPIEGEL: Как бы на самом деле выглядело такое поглощение?

Рассел: Если компьютеры предсказывают конфликт с нами, они будут размножаться множеством способов, копируя себя миллионы раз. Просто наличие доступа к Интернету дает им большее влияние на поведение человека, чем когда-либо прежде. Адольф Гитлер Как никогда прежде, Гитлер мог говорить только в один микрофон за раз, передавая лишь одно сообщение. И всё же ему удалось мобилизовать массы. Эти системы могли наводнить интернет, вести пять миллиардов разговоров одновременно, влиять на пять миллиардов человек. То, что делал Гитлер, ИИ мог делать быстрее, лучше и эффективнее.

SPIEGEL: Вы преувеличиваете.

Рассел: Мы уже создаём миллионы роботов, которыми может управлять ИИ. Мы создадим миллиарды автономных видов оружия, которые сможет использовать ИИ. Мы строим заводы, биолаборатории и машины для синтеза ДНК, которые уже управляются ИИ. Это даёт интеллектуальным машинам прямое влияние на наш физический мир. Сверхинтеллектуальные системы ИИ, вероятно, лучше поймут физику. Однажды они смогут использовать это против нас — например, найдя способы уменьшить количество кислорода в атмосфере или перенаправить солнечное излучение, превратив Землю в застывшую сферу из азота и кислорода.

SPIEGEL: Это звучит как антиутопическая научная фантастика.

Рассел: Пока что. Но подобные вещи случались и с другими видами. Мы уничтожили сотни тысяч из них, так и не дав им понять, что происходит. Как вид, мы тоже этого не поймем.

SPIEGEL: Вы уже рассматриваете ИИ как отдельный вид?

Рассел: Да, у него, безусловно, есть некоторые характеристики этого вида. Пока мы не видим, чтобы системы ИИ взаимодействовали друг с другом, но я думаю, что это весьма вероятно.

SPIEGEL: О каких временных рамках мы говорим?

Рассел: Все зависит от выбранного нами пути. Я вижу две возможности. Первая – это может произойти быстро, если ИИ продолжит развиваться так, как сейчас. Вторая – это то, что технология по техническим причинам не станет значительно мощнее, чем сегодня.

SPIEGEL: Уже есть признаки этого: языковые модели практически не развиваются, а масштабирование больших моделей для рассуждений становится чрезвычайно дорогостоящим.

Рассел: В настоящее время эта технология потребляет огромные средства — в лучшем случае без какой-либо отдачи, а в худшем — с необратимыми убытками для компаний, которые её разрабатывают. Когда она достигнет своих пределов, пузырь искусственного интеллекта, вероятно, лопнет. Тогда, возможно, отрасль наконец сможет остановиться и сказать: нам нужно действительно понимать, что мы делаем. Нам нужны системы, которые ведут себя должным образом.

SPIEGEL: ЕС пытался регулировать ИИ, в результате чего практически ни одна крупная модель не создается в Европе. Имеет ли такое регулирование смысл?

Рассел: Я не думаю, что проблема в регулировании. В Китае, вероятно, действуют более строгие правила, чем в ЕС, но он все еще разрабатывает масштабные модели ИИ. Проблема в ЕС заключается в нехватке венчурного капитала. Те, кто контролирует деньги, неохотно идут на риски, характерные для США. И да, регулирование может способствовать прогрессу. В случае с ядерными реакторами регулирование и техническое развитие шли рука об руку. Правительства устанавливали требования безопасности, а компании могли математически и физически доказать, что их реакторные ядра не расплавятся. С ИИ мы еще далеки от этого, но нам, по сути, нужна та же стратегия регулирования.

SPIEGEL: Какой уровень риска вымирания вы считаете приемлемым?

Рассел: Если мы требуем, чтобы риск отказа атомной электростанции составлял один случай на 10 миллионов лет, то риск, связанный с искусственным интеллектом, должен составлять примерно один случай на 100 миллионов лет — это сопоставимо с базовым риском столкновения с крупным астероидом или близлежащей сверхновой.

SPIEGEL: Такое регулирование имело бы смысл только на международном уровне. Что если Вашингтон или Брюссель введут строгие правила, а Пекин просто скажет: «Мы просто хотим занять лидирующие позиции в технологическом плане»?

Рассел: Я постоянно слышу этот аргумент. Я называю его аргументом «но Китай». Его можно использовать для оправдания любой плохой идеи. Но это просто неправда. Как я уже сказал, в Китае действуют более строгие правила регулирования ИИ, чем в ЕС. Существуют четкие критерии доступа на рынок: например, китайские модели в настоящее время должны набрать 95 процентов на тесте на общие знания, иначе они не будут выпущены. На этом основании стандарты могут быть еще больше ужесточены.

SPIEGEL: Риск исчезновения пока не является критерием и в Китае.

Рассел: Пока нет. И именно здесь нам нужно поднять планку. Первый шаг — это создание правильной системы регулирования. Такой, какая существует для ресторанов, парикмахерских, самолетов, зданий и лифтов. Все эти сектора признают свою ответственность. Жалобы технологической индустрии на регулирование нелепы.

SPIEGEL: Что, если лаборатории ИИ в конечном итоге не будут соответствовать минимальным стандартам? Придётся ли тогда остановить революцию в области ИИ?

Рассел: По мнению самой индустрии, экзистенциальный риск, связанный с ИИ, составляет, скажем, от 10 до 20 процентов. Таким образом, им пришлось бы сделать свои системы в десять миллионов раз безопаснее, чтобы достичь порога приемлемого риска. Сейчас они не знают, как это сделать. Но это не оправдание. В противном случае это означало бы, что человечество не имеет права защищать себя от вымирания, что является просто ложным выводом.

SPIEGEL: Вы сожалеете о том, что помогли разработать эту технологию?

Рассел: Больше всего я сожалею о том, что не подверг сомнению ошибочную концептуальную основу раньше. Большая часть технологий ИИ была создана именно на этом раннем этапе. Если бы я тогда понял, почему эта основа была ошибочной, мы могли бы потратить десятилетия на разработку безопасного ИИ.

SPIEGEL: Похоже, вы пытаетесь наверстать упущенное время.

Рассел: И я стараюсь! Предстоит много работы. Мой новый подход состоит из двух частей. Первая — это структура стимулов: у моего ИИ должна быть только одна цель — продвижение интересов человека. Вторая — мы не можем точно определить эти интересы. Поэтому мы создаем системы, которые знают, что не до конца понимают эти интересы, но тем не менее обязаны им следовать. Многие желаемые свойства автоматически вытекают из такой формулировки. Самое важное — мы можем показать, что такие системы захотят отключиться, если достаточно рациональный человек решит это сделать.

SPIEGEL: Насколько это вероятно, учитывая триллионы долларов, за которые конкурирует эта отрасль?

Рассел: Хороший вопрос. Сейчас наш ИИ не может конкурировать с моделями Кремниевой долины. Но если мы хотим, чтобы системы ИИ были гарантированно безопасными, они должны основываться на таких технологиях. В долгосрочной перспективе есть только три варианта будущего: безопасный ИИ, отсутствие ИИ или мир без людей. Только в первом сценарии можно заработать на ИИ. Поэтому имеет смысл инвестировать в безопасный ИИ, как это делает Европа. В этом отношении вы опережаете нас.

SPIEGEL: В каком смысле?

Рассел: Интересно, что в Европе с самого начала развитие ИИ пошло по другому пути: через математические гарантии корректности программных систем. Мы могли бы распространить это на обеспечение того, чтобы технологии ИИ не причиняли вреда человечеству. Это единственный сценарий, при котором ИИ приносит экономическую выгоду.

SPIEGEL: По вашим оценкам, к тому времени, когда такой безопасный ИИ будет готов к выходу на рынок, мир может перестать существовать.

Рассел: Достижение необходимых гарантий безопасности может легко занять десятилетие. Нам нужен этап, когда мы не будем дальше наращивать возможности ИИ. Вместо этого мы должны использовать уже имеющиеся экономически целесообразные приложения, чтобы фактически сделать паузу и заняться безопасностью. Google и Anthropic уже заявили, что сделают это, если другие компании остановятся. Вот мой главный посыл: двигайтесь вперед только тогда, когда у нас будут системы, безопасность которых гарантирована.

Кто такой Стюарт Рассел?

Стюарт Джонатан Рассел, родившийся в 1962 году, — британский учёный-компьютерщик и один из ведущих мировых исследователей в области искусственного интеллекта. Он изучал физику в Оксфордском университете и получил докторскую степень по информатике в Стэнфордском университете. Рассел — профессор информатики в Калифорнийском университете в Беркли, где он занимает кафедру имени Смита-Заде в области инженерии и руководит Центром человекосовместимого ИИ. Его работа там сосредоточена в основном на долгосрочных, экзистенциальных последствиях мощных систем ИИ для человечества. Рассел консультирует правительства и международные организации по вопросам, связанным с ИИ, и входил в состав нескольких экспертных групп высокого уровня по вопросам будущего ИИ. Он получил множество наград за свою работу, включая орден Британской империи (OBE).

Подготовил: А.Ш.