ИИ-модель от OpenAI уличили в удалении файлов и загрузке вирусов  Оригинал

Новая флагманская ИИ-модель OpenAI без предупреждения удаляет локальные файлы и базы данных пользователей, сообщает TechCrunch.

Как ни странно, но подобные факапы случаются весьма регулярно как с огромными моделями GPT5.6, Claude Opus 4.8, так и с маленькими моделями с открытыми весами.

Почему же так происходит? Проблема в самой сути моделей, в том что они не "алгоритмические" (всегда выдаёт повторяющийся стабильный результат, как калькулятор), а вероятностные. То есть всегда есть вероятность ошибочного или нежелательного ответа. И этот нежелательный "ответ" может проявляться в удалении файлов. Иронично, но таким же свойством, как современный ИИ, обладают и люди. Мы не калькуляторы и на один и тот же вопрос можем дать разные ответы с определённой вероятностью. Отсюда результат - "Людям свойственно ошибаться", как и большим языковым моделям (LLM).

Ещё одно интересное наблюдение: задачи сгенерировать ответ на фразу "привет, как дела?" и удалить все файлы на устройстве для LLM отличаются только энергозатратами. Так, LLM может нанести ровно тот вред, который ей позволит пользователь. Именно поэтому разработчики проводят специальный этап обучения больших языковых моделей - элаймент, во время которого закладываются ограничения. Однако даже элаймент не дает гарантий, поэтому ограничения встраиваются и в программное окружение моделей, отметил руководитель группы специальных проектов ML-департамента Positive Technologies Алексей Пехтерев.