Тут могла бы быть ваша реклама
Четыре исследовательские команды за 10 дней выявили четыре разных способа взлома ИИ-моделей, пишет технологическое издание The Next Web. Исследования показали, что главная проблема таких систем заключается не в ошибках самих моделей, а в том, что они получают доступ к личным данным пользователей, памяти и внешним сервисам.
Исследователи связали эти угрозы с концепцией «летальной триады» ИИ-безопасности: наличие у агента доступа к личным данным, возможность получать информацию из ненадежных источников и способность передавать данные наружу. При сочетании этих факторов даже одно вредоносное сообщение может привести к утечке конфиденциальной информации. По мнению специалистов, защитить пользователей могут дополнительные проверки действий ИИ, но такие меры могут замедлить работу агентов, тогда как скорость и автономность остаются одними из главных преимуществ подобных систем.
Исследователи отмечают, что развитие ИИ-агентов идет быстрее, чем создание механизмов их защиты. По их оценке, проблема заключается не в конкретном продукте или отдельной модели, а в том, что пользователей подключают к автономным системам быстрее, чем индустрия успевает устранить связанные с ними риски.