Тут могла бы быть ваша реклама
Компания OpenAI приостановила выпуск новой модели Astra из-за опасений по поводу кибербезопасности, пишет Axios. Как сообщили в компании, внутренние оценки показали потенциальные риски, связанные с ее использованием. Это первый случай, когда ведущий разработчик ИИ добровольно замедляет прогресс.
OpenAI расширит тестирование и усилит меры защиты перед любым возможным релизом, а также замедлит разработку Astra до внедрения необходимых механизмов, как того требует система готовности компании, принятая в 2023 г.
Конкурирующая компания Anthropic в июне выпустила более безопасную версию своей модели Mythos, а также призывала к глобальной паузе в развитии ИИ. На конференции Black Hat сотрудники OpenAI уже заявляли о намерении замедлить тестирование для улучшения практик безопасности.
В OpenAI отметили, что ИИ-модели становятся всё более продвинутыми в киберсфере быстрее, чем формализуется регулирование их использования. В компании уже начали внедрять изолированные тестовые среды и универсальный мониторинг для Astra.
5 августа Reuters писал, что Anthropic и OpenAI сообщили о новых случаях выхода их ИИ-агентов за пределы рамок тестирования. В ходе проверки бе...