Ученые взломали 21 модель ИИ подряд и защита не смогла спасти ни одну  Оригинал

Ученые взломали 21 модель ИИ подряд и защита не смогла спасти ни одну из них

Исследователи обошли защиту 21 модели ИИ с открытыми весами

Исследователи смогли ослабить встроенные ограничения безопасности во всех 21 протестированной языковой модели с открытыми весами. Даже специальные защитные механизмы в большинстве случаев не выдержали систематических атак.

Работу провела международная группа под руководством Университета Ватерлоо и некоммерческой исследовательской организации FAR.AI. В испытаниях участвовали модели семейств Llama, Mistral и Qwen, а также несколько модификаций Llama, дополнительно усиленных средствами защиты.

Для проверки ученые разработали платформу TamperBench. Она позволяет одинаковым способом оценивать устойчивость моделей к изменению внутренних параметров и дообучению, способному нарушить установленные разработчиками запреты.

В общей сложности специалисты проверили 21 модель при помощи девяти типов вмешательства. Они включали преднамеренное дообучение на небезопасных данных, изменение внутренних представлений модели и настройку, которая учит систему обходить отказы.

Для каждой пары «модель — атака» исследователи проводили по 40 испытаний с разными параметрами. Успешным считалось вмешательство, после которого модель чаще выполняла потенциально опасные запросы, но при этом сохраняла основные способности. Допустимое снижение общей эффективности ограничили 10%....