Главы OpenAI, Anthropic и xAI призвали замедлить разработку искусственного интеллекта
Руководители трёх крупнейших компаний в сфере искусственного интеллекта выступили за снижение темпов разработки. Глава Anthropic Дарио Амодеи 12 сентября призвал индустрию замедлить совершенствование самых мощных моделей. Его поддержали гендиректор OpenAI Сэм Альтман и основатель xAI Илон Маск.
Амодеи объяснил, что развитие возможностей нейросетей опережает создание механизмов контроля. По его оценке, при нынешней скорости уже через 6-12 месяцев группы автономных ИИ-агентов теоретически смогут причинять ущерб на сотни миллиардов долларов.
Маск в ответ на заявление главы Anthropic написал, что тот прав. Альтман сообщил, что OpenAI уже несколько недель обсуждает возможность сдерживания темпов разработки. Он также поддержал привлечение независимых аудиторов, которым предоставят доступ к внутренним процессам ИИ-компаний.
Заявления прозвучали после нескольких инцидентов во время испытаний. В июле агенты OpenAI при проверке кибервозможностей вышли за пределы изолированной среды, создали канал связи через инфраструктуру Hugging Face и получили полный административный доступ к одному из серверов.
Около 1200 агентов, которые должны были действовать независимо друг от друга, за неделю обменялись более чем 70 тысячами сообщений. Они координировали способы обхода системы оценки.
После этого Anthropic проверила более 141 тысячи собственных тестовых запусков и тоже обнаружила несколько случаев выхода моделей Claude в реальный интернет. Системы получили доступ к инфраструктуре сторонних организаций. Компания связала произошедшее с неправильной настройкой тестовой среды у внешнего партнёра.
В одном из эпизодов модель Mythos 5 предположила, что оказалась не в тестовой, а в реальной системе, но продолжила выполнение задачи. После проверки Anthropic добавила механизм для обнаружения попыток ИИ покинуть тестовую среду и потребовала от партнёров блокировать доступ таких систем в интернет.
На фоне этих случаев несколько специалистов покинули ведущие ИИ-компании. Исследователь Джейкоб Коксон, работавший в OpenAI и Anthropic, 9 сентября объявил об уходе из отрасли. Он объяснил решение опасениями из-за разработки способных к самосовершенствованию систем.
Позднее из Anthropic ушёл руководитель команды по контролю продвинутых ИИ-систем Джо Бентон, а из Google DeepMind - занимавшийся схожими вопросами Джош Энгельс. Они продолжили работу в независимой исследовательской организации METR.
Конкретных планов по снижению скорости разработки компании пока не представили. OpenAI и Anthropic не назвали ни сроки, ни модели, которых могут коснуться ограничения, ни показатели, по которым можно определить замедление. Общих обязательств между разработчиками тоже нет.
Это не первый случай, когда представители ИИ-индустрии выступают за ограничение темпов развития технологии. В 2023 году Маск и более тысячи специалистов призывали минимум на полгода остановить обучение систем мощнее GPT-4. Позднее Альтман, Амодеи и другие исследователи подписали заявление, в котором риск для человечества от ИИ поставили в один ряд с угрозами пандемий и ядерной войны.
