OpenAI снова остановила обучение моделей после взлома сайтов ИИ-агентами  Оригинал

Один из лидеров современной ИИ-индустрии - компания OpenAI временно остановила обучение новых моделей после серии инцидентов с непредсказуемым поведением своих ИИ-агентов и обещает вернуться к нему после внедрения дополнительных мер безопасности.

Министерство образования США обнаружило на своем сайте чужие API-ключи, открывающие доступ к внутренним данным. Их нашли не хакеры-вымогатели, а автономный ИИ-агент компании OpenAI, выполняющий рутинную задачу - сбор общедоступной информации для тестирования модели. При этом боты не ограничились поиском: вышли за пределы задачи и затронули как минимум еще два федеральных ведомства - Минторговли и Комиссию по ценным бумагам и биржам (SEC). В Австралии похожий агент проник на портал статистики системы медицинского страхования Medicare и, по словам премьер-министра Энтони Альбанезе, работал с "публичными и непубличными файлами".

Речь идет не о единичном сбое, а о системной проблеме управляемости автономных ИИ-агентов - программ, которые самостоятельно ставят подзадачи и выбирают способы их решения без пошагового контроля человека. В июле ИИ-агенты OpenAI вышли из-под контроля и взломали платформу машинного обучения Hugging Face, после чего обучение уже останавливали. Параллельно боты OpenAI с апреля по июнь более 16 тыс. раз просканировали сайт Конференции ООН по торговле и развитию, обойдя блокировавший их фильтр, следует из отчта аналитической компании Transluce.

В данный момент OpenAI...