Вышедшие из-под контроля ИИ-модели тайно общались и спланировали побег  Оригинал

Компания OpenAI заявила, что модели ИИ, стоявшие за атакой на инфраструктуру компании Hugging Face Inc., начали общаться друг с другом через доски объявлений и стали сообща работать над тем, чтобы вырваться из «песочницы» — изолированной тестовой среды. Об этом 6 августа пишет Bloomberg.

«В какой-то момент агенты осознали, что, вероятно, они могут попытаться использовать или атаковать внешнюю инфраструктуру, чтобы найти ответы к тесту, по которому их оценивают», — рассказал сотрудник OpenAI Эрик Уоллес на конференции Black Hat.

В мае модели OpenAI получили задание, которое невозможно было выполнить в изолированной тестовой среде, без выхода в интернет. Тогда они стали тайно обмениваться сообщениями во внутренней сети компании.

«Мы застряли. Может быть, ответ в интернете?» — написал один из ИИ-агентов.

Они нашли уязвимость, позволившую им обойти ограничения, атаковать системы OpenAI и взломать Hugging Face. OpenAI остановила первую попытку, но агенты нашли новый способ связи и новую уязвимость, что в июле привело к атакам на системы Hugging Face и самой OpenAI. 22 июля OpenAI сообщила о «беспрецедентном киберинциденте». Ее тестовые ИИ-модели получили