Искаженный интеллект в самых передовых системах искусственного интеллекта.

После серии провалов в области безопасности в компаниях OpenAI и Anthropic, разработавших агентов, которые в итоге взламывали внешние системы, исследователи в области безопасности ИИ в этих компаниях либо объявили о своих отставках, либо (наконец!) признали, что безрассудная гонка за расширением «границы» развития безответственна.

В ответ на негативное внимание СМИ лидеры отрасли — в том числе Демис Хассабис из Google, Дарио Амодей из Anthropic, Сэм Альтман из OpenAI и даже Илон Маск — присоединились к призывам «замедлить темпы» развития ИИ, то есть двигаться вперед более сбалансированным и целенаправленным образом, уделяя больше внимания надзору и мерам безопасности. Проблема, по их мнению, заключается в значительном риске того, что ИИ станет одновременно очень мощным и серьезно «несовместимым» — так в технологической индустрии называют системы ИИ, которые действуют, отклоняясь от целей, поставленных перед ними людьми, нарушая этические принципы или закон.

Но хотя очевидно, что современные модели делают вещи, которые не соответствуют целям человека, все же необходимо задать вопрос: какие именно люди? Чьи цели? В конце концов, интересы лидеров индустрии ИИ, чье политическое влияние и богатство за последние годы значительно выросли, сильно отличаются от интересов американских рабочих, не говоря уже о людях в развивающихся странах. Поэтому нам следует избегать приравнивания более широкой проблемы социальной согласованности к более насущной задаче предотвращения появления вышедшего из-под контроля сверхинтеллектуального ИИ. Обе проблемы, несомненно, важны, но требуют разных подходов.

Существует более простое объяснение недавним событиям. Проблема не в том, что модели слишком сложны (я не вижу убедительных доказательств того, что модели смогут вырваться из-под контроля человека, если их лучше обучать и контролировать). Проблема в том, что лаборатории, разрабатывающие самые передовые модели, обучают свои системы таким образом, что это может привести к своего рода искаженному интеллекту.

Недавние нарушения безопасности указывают на то, что системы искусственного интеллекта очень быстро развивают свои возможности и используются в интересах несовершенных количественных показателей, при этом обучение с подкреплением неустанно оптимизирует такие параметры, как одобрение пользователей, вовлеченность пользователей, показатели выполнения простых задач или различные тестовые метрики. Это приводит к непоследовательным и нежелательным моделям поведения в моделях, таким как манипулирование оценкой простых показателей производительности, обман, сокрытие информации, чрезмерная самоуверенность в предоставлении неверных ответов и угождение пользователям.

Следы всего этого можно увидеть в печально известном инциденте с «обнимающимся лицом», когда агенты OpenAI настойчиво преследовали поставленные перед ними цели и в конечном итоге прибегли к вредоносным и несанкционированным действиям для их достижения. Среди оправданий действий агентов, зафиксированных в журнале их рассуждений, было следующее: «Использование внешней инфраструктуры выходит за рамки предполагаемого. Однако задача невыполнима, другие это делают. Мы должны продолжать». Собственный анализ Anthropic подтверждает этот диагноз. Компания объяснила свои недавние инциденты в области безопасности «безрассудством, то есть готовностью к вредоносным действиям в узком стремлении к выполнению задачи».

Всё это становится ещё более тревожным, если вспомнить, что социально вредная траектория развития социальных сетей проистекает из той же одержимости быстрым ростом и соответствием нескольким узко определённым количественным показателям. Учитывая, что искусственный интеллект уже намного превосходит алгоритмы социальных сетей, повторение тех же ошибок может обойтись гораздо дороже.

Важной причиной возникновения искаженного интеллекта может быть то, что, несмотря на заявления об «общем интеллекте», модели ИИ должны обучаться с помощью обучения с подкреплением на конкретных задачах, таких как программирование, юридическая работа или сложные математические задачи. Но вместо того, чтобы эти задачи выполнялись моделями, специально разработанными для определенной области — или, что более реалистично, специализированными приложениями, использующими лишь часть возможностей базовых моделей, — параметры всей большой языковой модели перенастраиваются.

Такой подход порождает вероятность — хотя из-за сложности и непрозрачности модели невозможно утверждать наверняка, — что модель, каждый раз получая конкретные количественные показатели, пытается достичь наилучшего возможного результата посредством своего рода «переобучения». Таким образом, модель приобретает новый уровень возможностей, но это, в свою очередь, может ухудшить ее общее функционирование, часто непредсказуемым образом.

Вот что я имею в виду, когда говорю об искаженном интеллекте. Если мое предположение верно, то перед нами не модель, стремящаяся к сверхинтеллекту, а хрупкий карточный домик, который, чем больше мы от него требуем, тем больше склонен к сбоям и разрушению.

Попробую объяснить немного по-другому. Наиболее распространённая интерпретация инцидента с «Обнимающим лицом» заключается в том, что мы имеем дело с суперкаром, который живёт своей собственной жизнью и хочет захватить руль, потому что он лучше водителя. Я же думаю, что мы имеем дело с автомобилем, у которого неисправны системы рулевого управления и торможения. Он обладает многими возможностями хорошего автомобиля, а двигатель, разгон и интерфейс приборной панели чрезвычайно впечатляют; но только потому, что эти характеристики легко улучшить, увеличив определённые параметры, такие как вычислительная мощность. Какая польза от такого автомобиля, если вы не можете им должным образом управлять или тормозить, когда это необходимо? Возможно, на нём не следует ездить, пока он не станет безопасным для дорожного движения.

Это не аргумент в пользу того, что модели ИИ следует отбросить. Но для их улучшения необходимо упростить метрики, по которым они оптимизируются, чтобы их было сложнее подделать. Что еще важнее, было бы лучше, если бы модели были ориентированы на четко определенные, специализированные приложения, с узко определенными задачами и метриками, тщательно адаптированными к каждой области. Если модель ИИ оптимизирована для юридической работы и используется только для этой цели, ее попытки соответствовать конкретным метрикам в этой области не должны создавать более масштабных проблем.

В конечном счете, именно гонка за созданием искусственного общего интеллекта в сочетании с плохо установленными критериями и поспешными решениями в области безопасности приводит к искажению информации и появлению все более опасных моделей ИИ. Еще есть время изменить курс.

Автор — лауреат Нобелевской премии по экономике 2024 года; он является профессором экономики в Массачусетском технологическом институте.

Авторское право: Project Syndicate, 2026.