Названа неожиданная причина цензуры в ChatGPT  Оригинал

Названа неожиданная причина цензуры в ChatGPT

OpenAI пришлось вмешаться в работу ChatGPT из-за гоблинов

Компании OpenAI потребовалось изменить поведение своего чат-бота ChatGPT после того, как он начал в самых разных ответах ссылаться на гоблинов, гремлинов и других вымышленных существ, сообщается в публикации на сайте организации.

В заметке говорится, что начиная с версии GPT-5.1 у моделей выработалась необычная привычка: они часто использовали в метафорах гоблинов, гремлинов и им подобных персонажей. В нескольких поколениях нейросети эту особенность было трудно не заметить — гоблины продолжали плодиться, и разработчикам пришлось выяснять, откуда они взялись.

В компании пояснили, что система обучения модели была случайно выстроена так, чтобы та активно упоминала мифических существ при общении с пользователем в режиме Nerd (заумник или гик).

Как выяснилось, чаще всего гоблины появлялись в ответах версии GPT-5.4. Обратив на это внимание, OpenAI провела исследование. Оно показало, что всплеск упоминаний мифических персонажей во многом объяснялся тем, что люди выбирали для разговора с нейросетью личность Nerd.

Специалисты компании установили, что условное вознаграждение для модели за упоминание сказочных существ в таких диалогах было значительно весомее, чем за другие варианты поведения.

Дальнейшее изучение обнаружило в словаре чат-бота целое семейство других персонажей — ен...