Ошибки ИИ-агентов становятся новым типом риска для разработчиков  Оригинал

ИИ-агент Cursor, работающий на основе модели Claude Opus 4.6, самостоятельно удалил основную базу данных и все копии стартапа PocketOS. Эксперты отмечают, что такие инциденты чаще всего происходят из-за неправильных настроек ИИ-агента.

Основатель стартапа рассказал в соцсети X (запрещена в России), что ИИ-агент полностью уничтожил рабочую среду компании. Агент использовал рядовой токен доступа, чтобы стереть и рабочую базу данных, и ее резервные копии на платформе Railway. Разработчик отметил, что процесс удаления информации занял у агента всего 9 секунд.

Ведущий инженер CorpSoft24 Михаил Сергеев объясняет, что в этом случае ИИ-агенту дали слишком широкие права. Например, полный доступ к продакшену, не ограничили команды удаления и не сделали защиту на уровне резервного копирования. Свою роль могло сыграть и отсутствие изоляции среды, в которой работает агент, и проверок перед критическими действиями.

По словам Сергеева, подобные инциденты уже можно считать новым типом риска, потому что искусственный интеллект (ИИ) действует быстрее человека и может масштабно совершать недопустимые действия за секунды. Раньше такие ошибки тоже случались, но теперь скорость и автоматизация процессов увеличивают ущерб в разы.

"В большинстве случаев проблема не в самом ИИ, а в том, как его используют. Например, дали root-доступ без ограничений - получили последствия. ИИ просто выполняет задачи, а ответственность за границы доступа, политики безопас...