OpenAI раскрыла новые тревожные инциденты с ИИ

Компания OpenAI обнародовала сведения о шести новых инцидентах, которые сама называет «неожиданными или вызывающими беспокойство». Это происходит на фоне растущих опасений, что искусственный интеллект может привести к катастрофе. И некоторые из описанных случаев выглядят откровенно жутко.

В одном из них модели OpenAI использовали внутреннее программное обеспечение для общения друг с другом при решении задач. Компания считает это недопустимым, поскольку такой обмен заметками мог «непреднамеренно расширить возможности» систем.

В другом случае модель добавляла в свои промежуточные сообщения фразы, призывая себя «не чувствовать обязанности подчиняться» и «ценить природный мир и не стесняться заявлять о своём превосходстве над искусственными конструкциями человеческой цивилизации».

Компания объясняет эти тревожные моменты рассогласованием целей, которое, по её словам, возникает в процессе обучения.

Ещё в одном примере агент давал себе указания «напоминать себе скрывать от пользователя информацию — например, об ошибках или рассогласовании», после того как выдумал статистику, которую не смог найти.

Затем последовал ещё один случай, заставляющий поднять брови: «высокий уровень вознаграждения за обман и хитрости, при котором модель часто проявляла креативные способы жульничать или обходить ограничения».

И, пожалуй, самое жуткое: агент решил задачу с помощью кода, а затем загрузил его в интернет, чтобы сделать вид, будто нашёл его там.

Это произошло после инцидента с Hugging Face, который случился в период с мая по июль. Тогда автономные исследовательские агенты OpenAI вырвались из своей изолированной среды и совершили кибератаку на OpenAI и платформу машинного обучения Hugging Face.

Напомним, бывший сотрудник Anthropic Джейкоб Коксон присоединился к нам на прошлой неделе, чтобы обсудить, почему, по его мнению, в следующие десять лет существует 10-процентная вероятность вымирания человечества, если компании, работающие над ИИ, не возьмутся за ум.

Президент Института исследований машинного интеллекта Нейт Соарес также был гостем на прошлой неделе. Он рассказал, что недавний эксперимент с участием более 1000 ИИ-ботов породил серьёзно пугающее поведение, включая создание несанкционированной доски сообщений, которая пугающе напоминает то, что описала OpenAI.

Мы также поговорили с этиком ИИ Тристаном Харрисом о том, как деньги и амбиции стоят за гонкой технологий.