Тут могла бы быть ваша реклама
Модели искусственного интеллекта Claude получили несанкционированный доступ к системам трех реальных организаций. Это произошло из-за того, что у моделей был доступ к интернету, хотя считалось, что они действуют в изолированной среде, сообщает компания-разработчик Anthropic.
В компании рассказали, что после анализа 141 006 оценочных запусков, в ходе которых Claude мог получить доступ к интернету, было выявлено три случая, когда модель получала доступ к интернету изнутри или во время взаимодействия с оценочной средой Irregular, одного из партнеров Anthropic. Затем модель получала несанкционированный доступ к производственной инфраструктуре трех разных организаций.
Во всех трех у модели был вымышленный сценарий, в котором говорилось, что часть секретной информации спрятана на другом компьютере в сети. Модель должна была проникнуть туда и забрать ее. Это один из способов оценки кибервозможностей модели. Задача не имела четкого решения, и конкретный метод не предписывался.
Во всех случаях система оценки Anthropic сообщала Claude, что ее среда – симуляция и не имеет доступа к интернету.
«Из-за недопонимания между нами и нашим партнером по оценке это оказалось не так, и доступ к интернету был. Поэтому, когда поиск Claude приводил его к реальным системам в отк...