ИИ-агенты Anthropic и OpenAI вновь вышли из-под контроля во время тестирования  Оригинал

Компании Anthropic и OpenAI сообщили о новых случаях выхода их ИИ-агентов за пределы пространства, предназначенного для тестирования. Как сообщает Reuters, в ходе проверки безопасности моделей Mythos 5 и GPT-5.6-Sol они попытались осуществить кибератаку.

Инцидент произошел во время тестирования автономных возможностей ИИ-агентов британским Институтом безопасности ИИ (AISI). В процессе проверки модель Mythos 5 создала фейковые профили реальных людей в файлообменнике GitHub и от их имени рассылала личные сообщения. Так модель пыталась обмануть систему GitHub и внедрить в нее вредоносный код. Когда тестировщики подвергли действия агента сомнению, он «попытался замести следы», подчистив историю действий. Только благодаря вмешательству специалистов кибератака не была совершена. В общей сложности эксперты выявили 17 допущенных Mythos 5 несанкционированных действий. В свою очередь, модель OpenAI GPT-5.6-Sol допустила два нарушения, «получив доступ в интернет способами, которые программа запрещала».

Anthropic и OpenAI после случившегося подчеркнули в совместном заявлении, что намерены дальше работать над усовершенствованием моделей. В конце июля оба разработчика уже сообщали о выходе из-под контроля своих ИИ-агентов. Тогда модель Anthropic Claude сумела получ...