Искусственный интеллект в разработке создает риски утечек и атак  Оригинал

Внедрение искусственного интеллекта (ИИ) в разработку приводит к появлению новых рисков: от утечек корпоративных данных через ИИ-агентов до уязвимостей в каналах их взаимодействия с моделями и инфраструктурой. Эксперты говорят о появлении новых классов уязвимостей из-за чрезмерного доверия нейросетям.

Сегодня ИИ-агенты могут действовать и принимать решения от имени пользователя. Так, появляются новые угрозы кибербезопасности. Например, перехват канала взаимодействия между разработчиком и ИИ-агентом или утечки корпоративных данных из-за случайной передачи информации третьему лицу.

По данным исследования "Лаборатории Касперского", сегодня модели работают уже не только с кодом, но и с контейнерной архитектурой целиком. Но даже при росте контекста возникает эффект "близорукости": исправляя одну часть системы, ИИ может нарушить другую. Сохраняются риски генерации небезопасных конфигураций и атак через подмену данных.

Согласно аналитике exploitDog, около 30% рисков утечек корпоративной информации уже связаны с передачей данных в публичные ИИ-сервисы. Это могут быть финансовые документы, клиентские данные, фрагменты исходного кода, внутренние регламенты, коммерческие предложения и сведения о продуктах. Значительное число организаций уже фиксировали инциденты, связанные с использованием ИИ-сервисов сотрудниками.

С ИИ-агентами риск выше, потому что они не просто отвечают на запросы, а выполняют действия: читают файлы, делают запросы к AP...