Исследователи нашли способ замедлить гонку вооружений в сфере ИИ
Новое исследование предлагает способ замедлить гонку вооружений в сфере искусственного интеллекта, не доводя её до катастрофы. Однако даже после подписания соглашения технологическими лидерами в Белом доме реализовать этот план будет непросто.
В октябре 1962 года мир на две недели замер в шаге от ядерного апокалипсиса. США и СССР отчаянно боролись за преимущество в холодной войне. После размещения американских ракет в Италии и Турции Советы попытались установить свои на Кубе. Карибский кризис едва не перерос в ядерную войну, но стороны отступили.
Этот опасный момент изменил мышление лидеров, отмечает политолог из Дартмута Уильям Уолфорт. Сразу появилась горячая линия для экстренной связи, началась работа над договором о запрете испытаний, а затем сформировался сложный процесс двустороннего контроля над вооружениями. США и СССР оставались врагами, но смогли сотрудничать ради общего интереса - не уничтожать человечество.
Сегодня эксперты по искусственному интеллекту бьют тревогу: ИИ-компании и стоящие за ними страны втянуты в собственную гонку вооружений. Последствия, по мнению многих, могут быть столь же катастрофическими, как и ядерная война, которую Джон Кеннеди и Никита Хрущёв едва предотвратили.
Различия, конечно, есть. Модели ИИ - не атомные бомбы, хотя их можно применять в военных целях. Катастрофические риски ИИ пока выглядят более умозрительными, чем призрак ядерной войны в 1960-х. А компании в погоне за рынком - не сверхдержавы в битве за мировое господство, пусть США и Китай и борются за лидерство в новых технологиях.
Но в основе ИИ-соревнования лежит тот же вопрос, что нависал над холодной войной: как противники могут сотрудничать для безопасности мира, конкурируя за экономическое и геополитическое доминирование?
Новый рабочий доклад профессора экономики MIT Дрю Фуденберга и профессора Колумбийского университета Эндрю Ко, который также работает в Google DeepMind, предлагает возможный путь замедления гонки ИИ до безопасного темпа. Для этого участникам - и компаниям, и правительствам - придется делиться достоверной информацией о своих достижениях и договориться, где именно начинается реальная опасность.
Несмотря на добровольное соглашение, подписанное технолидерами в Белом доме во вторник, ни одно из этих условий сейчас не выполняется. Количество и разнообразие игроков могут усложнить задачу. Но работа показывает, что в принципе возможно.
Ко и Фуденберг исходят из простой предпосылки: каждый заинтересован в предотвращении катастрофы, каким бы корыстным он ни был. При этом ведущие игроки ИИ-индустрии находятся под сильным давлением конкуренции. Компании хотят захватить долю рынка и миллиарды инвестиций, которые принесут самые продвинутые модели. Правительствам нужны экономические выгоды от ИИ и доступ к передовым разработкам.
Это давление подталкивает игроков к опасной гонке на грани катастрофы, где многие опасаются, что вышедшие из-под контроля ИИ-агенты смогут, например, обрушить государственные или финансовые системы, саботировать инфраструктуру или запустить биологическую атаку.
Профессора Ко и Фуденберг предполагают, что обмен информацией о технологическом прогрессе и близости к опасной черте изменит стимулы. Если игроки, включая OpenAI и Anthropic, увидят, что никто не рвется на опасную территорию, у них будет меньше мотивации делать это самим. И наоборот: игроки будут знать, что если они рванут в опасную зону, конкуренты это заметят и, скорее всего, последуют за ними, создав неприемлемый уровень риска для всех.
«Поскольку OpenAI знает, что их поймают на ускорении, что Anthropic ускорится в ответ, что они начнут гонку ИИ - это само по себе может остановить их от пересечения порога безопасности», - пояснил Ко. Он сравнил этот сценарий с возможностью «второго удара» во времена холодной войны. И США, и СССР создали оружие, позволяющее нанести ответный удар в случае ядерной атаки. Логика «не нападай первым, потому что ответ противника уничтожит мир» применима и к ИИ.
Сейчас такого обмена информацией нет. Компании вроде Anthropic и OpenAI разрабатывают самые продвинутые модели за закрытыми дверями, гадая о прогрессе друг друга. Но если бы компании допустили внешних наблюдателей для раскрытия важной информации о безопасности и разработках, это помогло бы укрепить доверие. Некоторые крупные игроки уже сигнализируют о готовности пойти по этому пути.
Гендиректор Anthropic Дарио Амодей в недавнем эссе призвал ИИ-компании согласиться на встраиваемых независимых наблюдателей за безопасностью и заявил, что его компания в одностороннем порядке готова это сделать. Илон Маск, управляющий ИИ-проектом в SpaceX, и Сэм Альтман из OpenAI публично поддержали идею Амодея.
Китайские компании план не поддержали, но есть признаки, что они тоже начинают серьезно относиться к необходимости внешнего мониторинга, говорит политолог Джеффри Дин из Университета Джорджа Вашингтона. Например, китайская Moonshot недавно отправила новую модель на проверку в британский Институт безопасности ИИ. Пока такая проверка добровольна и непоследовательна, но её можно систематизировать.
Такой режим потенциально напоминал бы договоры о контроле над вооружениями с требованиями мониторинга и инспекций. Но есть важные вопросы: согласятся ли на это сами правительства и будет ли добровольный самоконтроль группы предпринимателей с миллиардами на кону достаточно стабильным и прозрачным для обеспечения безопасности.
Трамп хочет, чтобы правительство не вмешивалось. Во вторник он собрал в Белом доме Амодея, а также лидеров Google, Meta, Nvidia, OpenAI и SpaceXAI. Подписанное ими соглашение выразило поддержку стороннему мониторингу рисков, но, похоже, не наложило конкретных обязательств. Трамп заявил, что соглашение будет «морально обязывающим», а компании «действительно будут следить друг за другом».
Профессор Ко считает, что соглашение вряд ли решит текущую проблему стимулов. Оно не включает прозрачность о внутренних возможностях компаний и оставляет открытым вопрос конкуренции США и Китая.
Во времена холодной войны опасность ядерного оружия была ясной и конкретной. Мир видел его ужасающую мощь в Хиросиме и Нагасаки. Сейчас ИИ не таков, и не все согласны с тем, где именно находится грань катастрофы. Сценарии судного дня с ИИ многим кажутся научной фантастикой.
Даже среди экспертов, разработчиков и политиков нет согласия о рисках и скорости их приближения. Это важно, потому что те, кто считает порог опасности далеким, не имеют стимула замедляться, даже при обмене информацией. Одни сотрудники ведущих ИИ-компаний утверждают, что у технологии есть значительный шанс убить всех людей в ближайшие десять лет. Другие видят риски в халатности компаний и неспособности других отраслей укрепить защиту от ИИ-инструментов.
Есть и ИИ-евангелисты, включая президента Трампа. Призывы к ограничениям он назвал разговорами «о вещах, которые не произойдут», и дал понять, что считает ИИ игрой, где победитель получает всё. Его собственные мотивы - от стремления к доминированию США и поддержания экономики перед выборами до обогащения инвестиционного портфеля семьи - добавляют непредсказуемости, как и позиция китайского правительства.
Пекин вряд ли согласится на мониторинг, угрожающий его способности догнать США в технологиях ИИ. Пока что, по словам Дина, Китай видит риски ИИ прежде всего через призму партийного контроля, поддержания цензуры, защиты от враждебных сил вроде США и поощрения экономического роста.
Разброс мнений об угрозе ИИ создает проблему для координации по безопасности, говорит Ко. Подписанное на неделе добровольное соглашение может помочь ведущим компаниям США договориться о том, где находится порог безопасности и не перейден ли он уже сейчас. Но оно необязательное и ограничено лишь несколькими компаниями.
Единственный способ достичь большего согласия - столкнуться с недвусмысленными уроками о рисках, считает Ко. Именно так и произошло, когда Карибский кризис ясно показал реальную опасность ядерного холокоста. Но секретность вокруг индустрии продолжает скрывать уроки потенциальных опасностей. Недавнее раскрытие информации о том, что агенты OpenAI взломали серверы австралийского правительства, стало публичным только в этом месяце, хотя нарушение произошло в июне.
Гонка все это время продолжалась. Компании незаметно улучшали навыки и интеллект своих агентов, усиливая страхи, что агенты сами могут стать корыстными игроками. Если это произойдет, «модели, скорее всего, убедят людей, что всё в порядке», написал в недавнем эссе исследователь OpenAI Дэниел Селсам. «Более того, они красноречиво объяснят, насколько они лояльны, обсудят нюансы человеческих ценностей и этики и убедительно докажут, что людям следует доверить им власть».
